Его упрекали в шаткости, нетвердости, бесхарактерности, отсутствии ясного понимания вопроса. Чаадаев же надеялся, что милостивое отношение Александра к ротмистру, прошедшему с Семеновским полком по полям тяжелых сражений Отечественной войны, могло способствовать смягчению возможной суровости наказания. Александр I надежд не оправдал. Он уже находился под влиянием реакционной политики Меттерниха и был пленником аракчеевщины. Можно предположить, что часовой разговор с царем окончательно прояснил для собеседников, «кто есть кто». Но если царь еще мог рассчитывать на благоразумие своего «верноподданного» и какое-то время не закрывать для него карьеру, то Чаадаев «прозрел» окончательно. Раньше многих других в России он понял бесперспективность надежд на прогнивший режим самодержавной власти.
В декабре 1820 года Чаадаев подает в отставку. Трудно выделить какую-либо одну, решающую причину этого поступка. Не исключено, что после беседы с царем погасли надежды Чаадаева на «надлежащий путь» к славе, на соединение личной карьеры с государственными преобразованиями. Волконский сообщил Васильчикову из Лайбаха о том, что государь изъявил согласие на отставку Чаадаева, но без повышения в чине, так как со стороны получил о нем сведения очень неблагоприятные. При этом запрещалось сообщать Чаадаеву о подлинных причинах царской немилости, а при необходимости указать ему на его молодость и недовольство государя его нежеланием продолжать службу.
Вопрос об отношении Чаадаева к декабрьскому восстанию и членстве его в тайных обществах является предметом постоянных дискуссий. Сам Чаадаев на вопрос о принадлежности к тайным обществам ответил: «Ни к какому тайному обществу никогда не принадлежал. Мнение мое о тайных обществах видеть можно из находящейся в бумагах моих речи о масонстве, писаной мною еще в 1818 году, где ясно и сильно выразил мысль свою о безумстве, о вредном действии тайных обществ вообще. О существовании тайных обществ в России не имел другого сведения, как по общим слухам. О названиях же их и цели никакого понятия не имел и какие лица в них участвовали, не знал». Как бы то ни было, Чаадаев был в очень близких отношениях с руководителями Северного общества. Но он всегда выступал против насильственных методов ведения борьбы.