Матерью Ришелье была Сюзанна де ла Порт – дочь Франсуа де ла Порта, преуспевающего деятеля парижского парламента, получившего дворянство. После смерти мужа на ее руках осталось пятеро несовершеннолетних детей – три сына, Генрих, Альфонс и Арман, и две дочери, Франсуаза и Николь. На их содержание ей была назначена скромная пенсия. Франсуа дю Плесси оставил все дела в таком беспорядке, что семье было выгоднее отказаться от наследства, чем принять его. Отношения Сюзанны со свекровью были очень непростые, и семья испытывала серьезные финансовые трудности. Чтобы как-то существовать, Сюзанне даже пришлось продать орденскую цепь мужа.
Первые годы жизни Арман провел в родовом замке, где и получил начальное домашнее образование. Когда умер отец, мальчику было всего пять лет, а вскоре замок был отдан кредиторам и семья перебралась в Париж. В 1594 году он был определен в привилегированный Наваррский коллеж.
Еще в детстве Арман дю Плесси мечтал о карьере военного, и после окончания коллежа он поступил в «Академию» Плювинеля, в которой готовили офицеров для королевской кавалерии. Он не отличался крепким здоровьем, но все же решил избрать традиционную для мужской линии рода службу.
Но семейные обстоятельства заставили его похоронить мечту о воинских подвигах и надеть рясу священника. Его брат Альфонс неожиданно отказался от епископства в Люсоне, поэтому, чтобы спасти фамильное наследование, Арман поступает в 1602 году на богословский факультет Сорбонны, который оканчивает через четыре года, получив ученую степень магистра канонического права и кафедру в Люсоне. И хотя ему было всего 20 лет, а возглавлять епископство имел право человек не моложе 23 лет, король утвердил молодого аббата де Ришелье епископом Люсонским. Для посвящения в сан епископа Ришелье сам отправился в Рим. Он произвел на папу Павла I благоприятное впечатление своими глубокими познаниями и тем самым добился разрешения Святейшего престола на посвящение в сан. Епископом Ришелье стал 17 апреля 1607 года.