Князья Прозоровские возводили свой род к началу XIV века, ведя его от князя Давида Федоровича Ярославского. Всего же родов Ярославских князей существовало более 30, и все они носили особые прозвания, ставшие фамилиями для потомков. Младший сын Давида, Михаил, был князем Моложским, и только с его внука, Ивана Федоровича, начинается фамилия Прозоровских. Фамилию он получил от названия села Прозорова, данного ему во владение. Сын его, Андрей Иванович, писался уже с этой фамилией.
Возвышаться род Прозоровских начинает при первых Романовых. А первым знаменитым мужем среди представителей рода был Семен Васильевич Прозоровский. Его подпись стояла на грамоте об избрании на царство Михаила Романова. В 1613 году Семен Васильевич был назначен воеводой города Тихвина и храбро оборонял сей город от шведов, сумев продержаться малым числом воинов до подхода дополнительного русского войска. За оборону Тихвина он был награжден царем позолоченным кубком и собольей шубой. Затем еще не раз князь Семен Васильевич назначался воеводой в разные города, мужественно сражаясь с врагами. Он исполнял и почетные должности на приемах иноземных послов, занимался укреплением обороны на границах, обменом пленными.
За неудачи под Смоленском в 1632—1633 годах князь Прозоровский был призван к ответу как изменник вместе с другими воеводами, сдавшими город полякам. Спасло его заступничество царицы Евдокии и то, что ратники, бывшие под Смоленском, восхваляли героизм и мужество, с которым бился против врагов Семен Васильевич. Казнь была заменена ссылкой в Нижний Новгород, но через месяц по приказу царя Прозоровский был снова возвращен в Москву для исполнения ратной и посольской службы.
В период царствования Алексея Михайловича Семен Васильевич Прозоровский оставался на высоких постах. Он был пожалован в бояре и принимал активное участие в предварительных работах по составлению «Соборного Уложения». До последних дней он служил царю верой и правдой. Семен Васильевич Прозоровский скончался в сентябре 1660 года, приняв перед смертью схиму с именем Сергея.
