Вместе с армией Барклай перешел на старую Калужскую дорогу и нагнал Кутузова у деревни Панки. В эти же дни Барклай узнал, что в очередной раз без его ведома в арьергард Милорадовича было передано около 30 тысяч человек из 1-й армии. Все это крайне обострило отношения Барклая и Кутузова и подвигнуло командующего 1-й армией написать прошение об отставке по состоянию здоровья. Прошение было подано Кутузову 21 сентября после прихода русской армии в Тарутино, и уже на следующий день Барклай отбыл из армии.
До начала ноября Барклай жил во Владимире, тщетно ожидая ответа на свое письмо императору. Наконец, он решил уехать в свое имение Бекгоф, где в конце ноября получил долгожданный ответ Александра I. Император писал, что он по-прежнему питает к Барклаю приязнь и уважение. Александр I обещал, что лично проследит за тем, чтобы были опубликованы выборки из оправдательных писем Барклая. Император выражал уверенность, что Барклай в будущем сможет оказать Отечеству еще более выдающиеся услуги.
12 декабря, в день рождения императора, Барклай получил письмо Александра I, в котором тот убеждал его вернуться в армию. А уже 31 января 1813 года он получил извещение от Кутузова, что император назначил генерала от инфантерии Барклая-де-Толли командующим 3-й армией вместо заболевшего адмирала П.В. Чичагова. Новая армия Барклая была самой малочисленной из всех армий – в ней было не более 18 тысяч человек.
В то время армия осаждала крепость Торн, которую защищал баварский гарнизон (3, 5 тысячи) во главе с французским генералом Мавилоном. Против крепости были сосредоточены главные силы 3-й армии – 13 тысяч человек. Однако этих сил не хватало для полной блокады крепости, к тому же в осадном корпусе отсутствовали крупнокалиберные орудия. И только после того как все необходимое в армию поступило, начались интенсивные бомбардировки крепости, сочетавшиеся с атаками господствующих высот. 6 апреля 1813 года крепость капитулировала. В ходе осады русские войска потеряли 28 человек убитыми и 167 ранеными. За взятие Торна Барклай был награжден алмазными знаками к ордену Св. Александра Невского и 50 тысячами рублей.
