С началом службы в МИДе Горчаков хорошо усвоил тонкости дипломатического искусства и не вмешивался в борьбу ведомственных группировок министерства, а занимался совершенствованием своих профессиональных навыков. Получив назначение в Лондон, он начал быстро делать карьеру: 1820 год – секретарь посольства, 1822 год – первый секретарь, 1824 год – чин надворного советника, что свидетельствовало о признании императором способностей и талантов молодого дипломата.
В Лондоне Горчаков оставался до 1827 года. Его отношения с послом России Ливеном оставляли желать лучшего, и Александр Михайлович покидает Лондон «по причине ухудшения здоровья». Он переводится на должность первого секретаря в Рим – место менее престижное, чем Лондон. Здесь Горчаков заводит полезные знакомства, среди которых дочь Жозефины Богарне, Гортензия, мать будущего французского императора Луи Наполеона, изучает греческий язык и вникает в состояние дел на Балканах. Через год он переводится в Берлин советником посольства, но вскоре снова возвращается в Италию в качестве поверенного в делах.
До своей отставки Горчаков служил во Флоренции и Лукке, был посланником в Тоскане, советником посольства в Вене. В отставку он вышел в 1838 году в чине статского советника. Уход со службы был вызван не только женитьбой на Марии Александровне Урусовой, брак с которой укрепил позиции Горчакова при дворе, так как семья жены была богата и влиятельна, но и отношениями с графом Нессельроде, которые были далеки от дружественных. Александр Михайлович в тайне надеялся, что отставка не будет принята, но ее приняли, чем сильно задели честолюбивого дипломата.
Шло время, жизнь в столице и развлечения при дворе сгладили горечь ухода со службы. Александр Михайлович все ждал, что его снова пригласят занять должность в МИДе, но приглашения не поступало. Видя беспокойство зятя, граф Урусов начинает содействовать его возвращению на службу.
