1857 год – год начала успешного карьерного роста графа Шувалова. Он назначается исполняющим должность столичного обер-полицмейстера и производится в чин генерал-майора. К концу года он утверждается в должности и на этом посту прилагает массу усилий для укрепления репутации столичной полиции. В этом ему помогло знакомство с опытом деятельности парижской полиции в бытность Шувалова во Франции.
В 1860 году Петр Андреевич становится директором департамента общих дел МВД. Человек консервативных взглядов, Шувалов был ярым противником реформ, но именно в годы их проведения он достигает высших государственных постов. В год отмены крепостного права он назначается начальником штаба Корпуса жандармов и управляющим III отделением. Наверное, это была не лучшая должность, но она давала власть. Жандармско-полицейская служба в сознании русского человека всегда вызывала чувство настороженности, опасения и брезгливости, а III отделение получило эпитет «государственной помойной ямы». Один из тех, кто достаточно близко знал Шувалова, писал, что граф «по семейным преданиям своим и по расчету личных выгод предпочитает самодержавие как самую выгодную форму правления для людей», но «готов служить всякому, кто облечет его властью». На этом посту самыми «громкими» его делами были ликвидация студенческих беспорядков в столице и первый политический процесс – дело М.Л. Михайлова. Шувалов никогда не забывал напоминать государю, что своей безопасностью он обязан усилиям III отделения.
Еще три года, и мы видим Шувалова на должности генерал-губернатора Остзейского края (Лифляндия, Эстляндия, Курляндия) и командующего войсками Рижского военного округа. Работа здесь требовала не только опыта, но и дипломатических способностей, так как любой генерал-губернатор этого края сталкивается с большим количеством проблем. Вот некоторые из них: окончательное и прочное объединение Остзейского края с Россией; готовность и принятие мер в случае политических столкновений на западной границе; предотвращение волнений в среде немецкого населения края и другие. Никаких особых нововведений Шувалов не привнес. Ему удавалось сохранять не только спокойствие в крае, но и продемонстрировать особую энергию и активность. Все свои распоряжения он сопровождал массой подробных предписаний. Он строго пресекал любое проявление сепаратизма, не допускал расширения прав местного дворянства, поддерживал деятельность православной церкви в крае. Все конкретные дела глава краевой администрации старался решать мягко, используя тактику компромисса, и местные жители были довольны разумностью губернаторских решений. Конечно, были и трудности, но главной из них стала боязнь Шувалова сделать что-нибудь такое, что могло не понравиться монарху и двору, так как из этой должности граф решил извлечь максимальный политический капитал для дальнейшего пути вверх по ступеням власти.
Энергия генерал-губернатора была достойно оценена императором, а политические противники графа почувствовали беспокойство от усиления его позиций.