В ночь на 6 апреля 1941 года Югославия подписала с СССР договор о дружбе и взаимопомощи, а утром того же дня над Белградом появились германские бомбардировщики. Когда в городе запылали первые пожары, танковая группа Клейста, дислоцированная в Болгарии в составе 12-й армии, перешла югославскую границу. Уже в первый день оборона противника была прорвана. Отбросив 5-ю югославскую армию, Клейст взял направление на север. 11 апреля его танки вошли в пригороды разрушенного немецкой авиацией Белграда. Через шесть дней Югославия капитулировала.
6 мая войска 12-й армии двумя клиньями, из Болгарии и покоренной Югославии, вторглись на территорию Греции. Уже 27 мая над Акрополем развивался немецкий флаг, а танковая группа фон Клейста находилась в Афинах.
22 июня 1941 года немецкие войска вторглись на территорию Советского Союза. Группа армий «Юг» фон Рундштедта в составе трех армий и одной танковой группы наносила главный удар в направлении на Киев. В задачу группы армий «Юг» входило уничтожение частей противника в Галиции и на Западной Украине, овладение переправами через Днепр в районе Киева и дальнейшее наступление после переправы через Днепр в глубь территории СССР. Фон Клейст был назначен командующим 1-й танковой армией, которая должна была стать главной ударной силой вермахта на южном направлении.
На Украине были сосредоточены основные силы РККА. В отличие от частей фон Клюге танковая группа Клейста с первых же дней встретила ожесточенное сопротивление. Командующий фронтом маршал Буденный подтянул свежие танковые части, которые контратаковали немцев и сдерживали их продвижение. До 3 июля продолжались упорные бои. Советские войска отходили очень медленно, часто только после ожесточенных контратак вырвавшихся вперед танковых групп фон Клейста.
4 июля 1-я танковая группа достигла района западнее реки Случь, но обе армии группы «Юг» отставали, преследуя медленно отходящие части Красной армии. В итоге после 12-дневных боев группе армий Рундштедта не удалось вырваться на оперативный простор. Ее армии фронтальным наступлением теснили советские войска, которые, собрав все свои силы, снова контратаковал немецкие части и избежали широкого охвата. Красная армия, неся тяжелые потери, смогла отвести основные части за реки Случь, Западный Буг, Днестр и в район южнее Могилева. Командование и войска РККА оказались на высоте требований, которые предъявил к ним значительно более трудный, чем все предыдущие, театр военных действий. Клейста поражало количество русских танков, участвовавших в контратаках.
