Сразу после советско-финляндской войны Финляндия начала искать союзников в Северной Европе на случай возникновения новой войны. Идея оборонительного союза не нашла поддержки у Швеции, и тогда финское правительство переориентировалось на Германию, которая уже готовила нападение на Советский Союз. Со второй половины 1940 года вермахт стал помогать генералу Маннергейму реформировать финскую армию. Кроме того, правительство Финляндии согласилось на транзит немецких войск в Норвегию через свою территорию. Несмотря на все уговоры Гитлера и Кейтеля, в мае 1941 года президент Рюти официально заявил, что Финляндия не будет принимать участия в агрессии против СССР. Но в начале июня у финской границы начали скапливаться советские войска, и 17 числа того же месяца Маннергейм провел всеобщую мобилизацию.
Утром 22 июня Германия напала на СССР. Маннергейм старался избегать военных обязательств, фюрер же хотел поставить финнов перед свершившимся фактом и втянуть их в войну. Советские части периодически обстреливали территорию Финляндии и нападали на финских пограничников. Налет на Хельсинки истощил терпение, и Финляндия объявила СССР войну. Боевые действия вооруженных сил Финляндии в основном свелись к возврату территорий, отторгнутых в 1940 году. 31 августа 1941 года части финской армии вышли на старую границу.
В конце ноября 1941 года Черчилль обратился к своему старому другу фон Маннергейму с предложением выступить посредником в улаживании отношений с Советским Союзом.
Но кампания в Восточной Карелии развивалась столь удачно, что главнокомандующий промедлил с ответом, а тем временем Англия под давлением Москвы объявила Финляндии войну. Генерала фон Маннергейма уговаривали предоставить свои войска для захвата Мурманска и железной дороги, по которой помощь союзников поступала во внутренние районы СССР. Но он отказывался. К середине 1942 года Гитлеру так и не удалось уговорить Маннергейма помочь вермахту перерезать железную дорогу из Мурманска. Кроме того, Маннергейм также отказался выдать евреев, скрывающихся в Финляндии от преследования гестапо.
4 июня 1942 года барону Маннергейму исполнилось 75 лет В этот день ему было присвоено звание маршала.
