Из пяти его сыновей трое – Иван, Михаил и Петр большой – погибли в Астрахани, защищая крепость от войска Степана Разина. Четвертый сын, Александр, потомства не имел, и продолжателем рода Прозоровских стал пятый сын – Петр меньшой. Он получил чин боярина, воеводствовал, занимался дипломатическими приемами.
Все представители мужской линии рода связывали свою жизнь с государевой ратной службой. В XVIII веке уже правнуки Петра меньшого сумели достичь генеральских чинов, а Александр Александрович Прозоровский дослужился до чина фельдмаршала. Жизнь его оказалась теснейшим образом связана с Крымом – Тавридой, бывшей долгие десятилетия проклятием для его предков. Он же, будущий генерал-фельдмаршал и кавалер многих орденов, этот полуостров брал и на саблю, и на штык, ломал сопротивление степняков, подводя их под державную руку российской монархии. А поначалу князю Александру, повторяющему судьбу многих и многих дворянских недорослей, казалось, ничто не предвещало подобной планиды.
Отцом его был Александр Никитич Прозоровский – капитан-лейтенант флота, а матерью – княжна Анна Борисовна, урожденная Голицына. Дед по материнской линии боярин Борис Голицын был воспитателем и ближайшим соратником молодого царя Петра I.
Родился Александр Александрович Прозоровский в 1732 году и в 10-летнем возрасте в числе иных был записан в гвардию, в Сухопутный Шляхетский кадетский корпус, где и получил не только военное образование. В 1746 году – капрал, в 1753-м – сержант, а в следующем, 1754 году он начал службу в действующей армии в чине поручика. Семилетняя война застала его капитаном: он принял участие во всех основных ее битвах, включая Гросс-Егерсдорф, Кунерсдорф и взятие Берлина, дважды был ранен и окончил войну полковником.
Русско-турецкую войну 1768—1774 годов Прозоровский встретил генерал-майором. В этом чине он и служил в 1770 году во 2-й армии графа Петра Ивановича Панина. Главной целью армии было взятие мощной крепости Бендеры. Прозоровскому же Панин поручил особое дело – с отрядом, состоявшим из драгун, гусар, донцов, украинских и запорожских казаков, калмыков, идти к Очакову и там препятствовать всем попыткам неприятеля противодействовать главным силам армии.