Вернувшись в МИД, в 1841 году Горчаков был направлен чрезвычайным посланником и полномочным министром в Вюртемберг. Назначение казалось второстепенным, но на самом деле германский вопрос был одним из центральных в европейской политике России. В Петербурге внимательно следили за внутренними процессами в германских государствах, за борьбой между Австрией и Пруссией, желавших играть руководящую роль в объединении Германии. Задача Горчакова сводилась к поддержанию авторитета России как покровительнице германских стран и умелому использованию противоречий, так как создание на границах империи сильной единой Германии для России было небезопасно. Связи дипломата при дворе вюртембергских князей помогали Горчакову передавать в Петербург уникальный материал о тайных планах правительств стран Германского союза. Деятельность Александра Михайловича была оценена высоко. Король Вюртемберга наградил его орденом Большого креста, а император Николай I представил его к орденам Св. Анны и Св. Владимира. В 1850 году Горчаков получает назначение на должность чрезвычайного посланника и полномочного министра при Германском союзе.
В 1853 году Александр Михайлович перенес личную трагедию – смерть жены, с которой они счастливо прожили 15 лет. На его плечи легла забота о своих сыновьях и о детях от первого брака Марии Александровны. Забота об их воспитании не помешала ему продолжать активную дипломатическую деятельность, которая приобрела особый вес накануне Крымской войны. В эти трудные для России годы Горчаков еще раз заявил о себе, как о дипломате высшего класса.
В 1854 году он получает назначение на должность посла в Вену. На стороне Турции уже выступили Англия и Франция. Австрия все еще колебалась, и задача Горчакова сводилась к устранению Австрии как возможной союзницы Турции в борьбе с Россией. Задача была весьма сложной, и Николай I, провожая Горчакова в Вену, сказал ему: «Я доверяю Вам. Но я совсем не надеюсь, что Ваши усилия увенчаются успехом». Прибыв в Вену, Александр Михайлович лично убедился в ненапрасных опасениях императора. Он сразу сообщил в Петербург о стягивании австрийских войск к Трансильвании, что угрожало русской армии на Дунае, о требовании вывода русских войск с территории Дунайских княжеств, о попытках австрийского правительства вовлечь в войну с Россией и Пруссию. Имея большой авторитет в дипломатических кругах и приложив огромные усилия, Горчакову удалось предотвратить вступление Австрии в Крымскую войну.
