Он родился 16 июня 1867 года в имении Лоухисаари, в юго-западной части Финляндии. В возрасте 14 лет Карл Маннергейм поступил в кадетское училище в Фридрихсгаме, недалеко от Выборга, а затем перешел в Николаевское кавалерийское училище в Петербурге, что в то время было большой удачей. Карл Маннергейм вскоре сделал блестящую карьеру в русской армии. В 1887 году он был зачислен в кавалерию. За годы учебы в столице он завел множество полезных знакомств и близко сошелся с великим князем Николаем Александровичем, ставшим впоследствии последним русским императором. Эти связи очень пригодились Маннергейму после окончания Николаевского училища. Первым местом службы Маннергейма стал придворный полк «черных драгун», но он мечтал попасть в знаменитый полк кавалергардов, куда и был переведен в 1891 году. В гвардии он приобрел много друзей, и у него появилась возможность приобщиться к светской жизни столицы.
Когда разразилась русско-японская война, Маннергейм отправился на фронт в Маньчжурию, где участвовал в боевых действиях. Получив несколько орденов, честно заслуженных в сражениях, Карл Густав Эмиль фон Маннергейм вернулся в столицу.
После поражения в войне русский Генеральный штаб искал человека, который смог бы заняться сбором военно-топографических сведений в Средней и Центральной Азии. И подполковник фон Маннергейм вызвался добровольцем. В течение двух лет он в сопровождении нескольких казаков на лошадях пересек Туркестан, пустыню Гоби и через Тибет добрался до Пекина. Он прилежно фотографировал, делал измерения, знакомился с жизнью местного населения. Это путешествие, длиной в 10 тысяч километров, позволило Маннергейму стать почетным членом Русского географического общества.
Вернувшись в Петербург и получив очередное честно заслуженное звание, полковник фон Маннергейм был зачислен в гвардейский Кавалергардский полк. В 1911 году фон Маннергейм получил чин генерал-майора, стал командиром Кавалергардского полка и был включен в свиту Николая II.
К началу Первой мировой войны он был на должности командующего 12-й кавалерийской бригадой, которая была отправлена в Галицию и участвовала в боях с австро-венгерской армией. Довелось генералу повоевать и в Румынии, возглавляя кавалерийский корпус. За три года войны Маннергейм был награжден почти всеми российскими орденами и получил звание генерал-лейтенанта.