Будучи еще совсем маленьким ребенком, он повредил ногу – оставленный кормилицей без присмотра, он упал с комода. Родителям об этом случае не сообщили, и должного лечения проведено не было. В результате правая ступня искривилась, и Шарль Морис на всю жизнь остался хромым.
Кроме Шарля в семье Талейранов было еще 3 сына. Старший из мальчиков умер рано, а двое других – Аршамбо и Бозон – воспитывались в доме. С ними Шарль всегда сохранял хорошие отношения, хотя, возможно, и завидовал их «лучшей доле», но никогда этого не показывал.
В возрасте четырех лет Шарль был отправлен в сопровождении гувернантки в Шале, в родовой замок семьи Талейранов-Перигоров. В нем проживала прабабушка Шарля, Мария Франсуаза де Рошешуар, приходившаяся внучкой известному государственному деятелю эпохи Людовика XIV – Кольберу. Она очень полюбила своего внука Шарля, и пребывание в замке стало для мальчика лучшим воспоминанием о детстве. Здесь он получил начальное образование, а в сентябре 1760 года был отправлен в столицу в коллеж д’Аркур – самое известное учебное заведение в Париже. Талейран не принадлежал к числу лучших учеников коллежа, но по его окончании 14-летний юноша овладел всеми традиционными для молодого аристократа знаниями. Впереди начиналась самостоятельная жизнь и следовало подумать о карьере.
Из-за увечья, полученного в детстве, о воинской службе можно было и не мечтать, а для покупки выгодной административной должности средств у родителей не было. Оставался только один путь – карьера священнослужителя. Это был не худший вариант, и примером тому служит деятельность кардинала Ришелье, Джулио Мазарини или Андре Флери. Посох епископа или кардинальская мантия могли бы дать куда больший доход, чем шпага. Но Шарль не думал об этом и не желал стать священником. Родители не стали выяснять мнение и желание сына по поводу карьеры, а просто отправили его к дяде в Реймс. Шарль с радостью отправился в новое путешествие, надеясь на самое лучшее для себя будущее. Но когда ему предложили надеть сутану, он был поражен, но смирился. Смирению Шарль научился еще в период учебы в коллеже, где он также научился хорошо скрывать свои мысли и чувства. В 1770 году он поступает в семинарию Сен-Сюльпис. После он напишет: «Моя молодость была посвящена профессии, для которой я не был рожден».