Дворянский род Воронцовых возвысился в XVIII веке, и тогда же возникла легенда, согласно которой Воронцовы стали вести свой род от выходца из Варяжских земель Симона Африкановича, приходившегося племянником королю Гакону Слепому и перебравшемуся в Россию в 1027 году. Но еще в XIX веке эта легенда была опровергнута, и поколенная роспись дворян Воронцовых стала вестись от Федора Воронцова, боярина, жившего в XVII веке. Как бы то ни было, история сохранила сведения о более ранних представителях этого рода. Первым, кто писался с этой фамилией, был Иван Федорович Воронцов, время жизни которого приходится на XV век. Его сын, Семен Иванович, боярин и воевода, как и отец, отличился в сражениях против войск Махмет-Аминя в 1505—1506 годах и в дальнейшем командовал запасными полками, стоявшими на Угре.
Почти все в роду Воронцовых избирали для себя воинское поприще. Так и сын Семена Ивановича, Михаил, стал знатным воеводой. В первый раз он отличился при осаде и взятии Смоленска в 1513—1514 годах, затем храбро сражался против казанских татар на реке Свияге. Михаил Семенович был назначен наместником в Новгороде, а в годы правления Елены Глинской возглавлял войска в битвах против литовцев и участвовал в мирных переговорах с Литвой. Брат его Федор стал близким соратником подрастающего царя Ивана IV, что очень не нравилось боярам Шуйским. Они добились удаления Федора Воронцова от двора в 1543 году, но уже через три года царь вернул своего любимца. Свою жизнь Федор Семенович окончил на плахе, ложно обвиненный в заговоре новгородцев против царя. Его сын Иван разделил участь отца.
Старинный род Воронцовых мог бы быть забыт, как и многие другие дворянские роды, представители которых были боярами во времена Ивана Грозного и даже ранее. Но случайность, а их в истории немало, помогла этому роду возвыситься. Для мелкопоместного дворянского рода Воронцовых XVIII век стал счастливым. Их возвышение началось с Михаила Илларионовича Воронцова. Родился он в 1714 году и службу начал 14-летним юношей при дворе цесаревны Елизаветы Петровны, куда был определен камер-юнкером. Служба шла весело и интересно, и очень скоро Михаил стал цесаревне близким человеком. Неудивительно, что в ночь на 6 декабря 1741 года, когда был совершен переворот, Михаил Воронцов сопровождал Елизавету в казармы Преображенского полка, а затем вместе с Лестоком явился к Анне Леопольдовне, дабы арестовать ее вместе с семейством. Став императрицей, Елизавета не забыла заслуг Михаила Воронцова. Он получил богатые поместья, стал камергером двора и поручиком почетной роты Преображенского полка, благодаря которому Елизавета заняла престол. В 1742 году императрица женила Михаила Илларионовича на своей двоюродной сестре, графине Скавронской, а в 1744 году Воронцов был назначен вице-канцлером. В том же году он был возведен в графское достоинство. После опалы канцлера Бестужева-Рюмина Михаил Воронцов занял его место.