Его старший сын Иван, погибший вместе с отцом на Соловках, был женат на княжне Прасковье Ивановне Троекуровой. В 1742 году ей были возвращены имения тестя, отписанные в казну. Она воспитывала пятерых сыновей – Василия, Андрея, Бориса, Федора и Петра, которым по указу от 26 мая 1760 года был возвращен и графский титул.
Андрей Иванович Толстой, родившийся в 1721 году, стал суздальским воеводой и от провинциального дворянства был избран депутатом в Екатерининскую комиссию по составлению уложения. Его сын Илья Андреевич был одним из богатейших помещиков, но, живя широко, быстро растратил состояние. В 1815 году он был назначен губернатором Казани, и на этом посту совершил крупные злоупотребления, что и было раскрыто сенаторской ревизией. Он был отстранен от должности в 1820 году и в тот же год скончался. От брака с Пелагеей Николаевной Горчаковой имел двоих сыновей (Николая и Илью) и двух дочерей.
Николай Ильич Толстой начал военную службу в годы Отечественной войны 1812 года. В 15 лет (в июне 1812 года) он был зачислен корнетом в Иркутский гусарский полк. За отличия в боях он награждался чинами и орденами. В годы войны попал в плен и был освобожден при взятии русскими войсками Парижа. Службу он закончил в 1815 году, выйдя в отставку в звании подполковника. Женившись на Марии Николаевне Волконской, Николай Ильич до конца своих дней проживал в Ясной Поляне – в родовом имении жены. Брак дал супругам троих сыновей и дочь. Младшим сыном был Лев Николаевич Толстой – знаменитый писатель, достигший еще небывалой в истории литературы славы.
Он родился 9 сентября 1828 года в Ясной Поляне, которая располагалась в Крапивенском уезде Тульской губернии (в 15 верстах от Тулы). Льву Николаевичу не было и двух лет, когда умерла его мать. Воспитанием осиротевших детей занялась дальняя родственница Т.А. Ергольская. О матери он знал в основном по рассказам других людей, и память о ней оставил в автобиографическом «Детстве», где она стала прототипом матери Иртеньева.
В 1837 году семья переехала в Москву, потому что старшему сыну надо было готовиться к поступлению в университет. Но вскоре внезапно умирает и отец, оставив дела в довольно расстроенном состоянии, и трое младших детей снова поселились в Ясной Поляне, под наблюдением Т.А. Ергольской и тетки по отцу, графини А.М. Остен-Сакен.
