В начале 1930-х годов он вернулся в политику и на государственную службу. В марте 1931 года он был назначен председателем Совета обороны. В 1937 году Маннергейм добился принятия семилетнего плана перевооружения армии, и под его руководством на Карельском перешейке стали возводиться оборонительные укрепления, получившие название «линии Маннергейма». Он сделал очень много для вооружения и укрепления финской армии, и не его вина, что к моменту нападения Советского Союза на Финляндию осенью 1939 года она была недостаточно вооружена и подготовлена, а техническое оснащение финской армии также оставляло желать лучшего. Карл Густав фон Маннергейм знал все это лучше, чем кто-либо другой, поэтому, когда в конце 1938 года Рюти рассказал ему о предложениях Москвы, генерал посоветовал премьеру согласиться не только на советские базы, но и на незначительные территориальные уступки.
Еще в начале 1938 года СССР по закрытым каналам обращался к Финляндии с предложением начать переговоры по пограничным вопросам, чтобы обеспечить безопасность Ленинграда на случай войны. Для этого СССР хотел получить некоторые финские территории. Но правительство Финляндии ответило отказом. Сам Маннергейм стоял на более гибких позициях и высказался за уступки.
5 октября 1939 года Молотов пригласил делегацию финского правительства на переговоры в Москву. На следующий день Маннергейм тайно начал всеобщую мобилизацию. Одновременно с Карельского перешейка и из Хельсинки эвакуировались местные жители. Маннергейм понимал, что СССР просто так не отступится от своих требований по решению вопроса о новых границах, поэтому он советовал Паасикиви: «Вы должны обязательно достичь договоренности. Армия не способна сражаться».
Финляндия, поддержанная международным сообществом, отказалась идти на уступки. Советский Союз начал усиленно готовиться к войне со своим северным соседом. В самой Финляндии ни правительство, ни население не верили в возможность войны. Карл Густав фон Маннергейм, по-прежнему считавший, что нужно было согласиться с требованиями Советского Союза, подал в отставку, которая, однако, не была принята. В то время Маннергейму было уже 70 лет, и он полагал, что не обязан руководить вооруженными силами страны, поскольку его советы не были приняты во внимание.
