В январе 1853 года князь Барятинский был назначен генерал-адъютантом, а осенью был утвержден в должности начальника штаба Кавказской армии. Он был произведен в генерал-лейтенанты и получил возможность разработать и осуществить свой план по полному разгрому Шамиля. Но новая война приостановила активные действия против горцев на Кавказе.
С началом Крымской войны Барятинскому еще раз удалось проявить свой талант стратега в сражении с 60-тысячной турецкой армией Мушир-Зариф-Мустафы-паши при Курюп-Даре. За него Барятинскому был пожалован орден Св. Георгия 3-й степени.
Вскоре князя Воронцова сменил Н.Н. Муравьев, и Барятинский отпросился в отпуск и уехал в Санкт-Петербург. По возвращении на Кавказ его назначили командиром резервного гвардейского корпуса, которым он командовал так хорошо, что ему вручили орден Белого Орла, хотя недоброжелатели Барятинского считали князя неспособным командовать корпусом.
Свои соображения по покорению Кавказа Барятинский изложил письменно. Он настаивал на удержании на Кавказе двух пехотных дивизий, переведенных туда во время Крымской войны. Князь полагал, что такое усиление Кавказской армии даст возможность приступить к решительным действиям. Император одобрил мнение Александра Ивановича и распорядился оставить дивизии на Кавказе, а Барятинского назначил командующим отдельным Кавказским корпусом и кавказским наместником.
Барятинскому предстояло решить много проблем, но самой главной из них была окончание войны, которая истощила силы местного населения и не давала им возможность спокойно заниматься хозяйством.
Будучи главнокомандующим, Барятинский разделил войска на пять отделов. Первым отделом стало правое крыло Кавказской линии, подчиненное начальнику 19-й пехотной дивизии; вторым – левое крыло, подчиненное начальнику 20-й пехотной дивизии, третьим – Прикаспийский край и Дербентская губерния под управлением начальника 21-й пехотной дивизии, Лезгинская кордонная линия с Джаро-Белоканским округом, подчиненная начальнику Кавказской гренадерской дивизии, составила четвертый отдел; пятый – Кутаисское генерал-губернаторство.
Одновременно с этим Барятинский проводил на Кавказе ряд мероприятий, которые должны были бы поднять благосостояние этого края и навести в нем порядок. Была введена должность начальника главного управления, который должен был заведовать департаментами общих дел, судебных дел и финансовых дел.
В 1858—1859 годах русские войска продолжали наступать. Утвердившись на Черных горах, левое крыло получило возможность перейти в безлесную полосу, откуда открывался доступ к коренным народам Дагестана. Местные жители так устали от войны, что аулы один за другим сдавались на милость победителей.