Общество встретило новую книгу с полнейшим равнодушием. Ежедневно Фурье заходил в книжные лавки. «Теорию» не покупали. Мыслитель был удручен неудачей. Но жизнь продолжалась.
В 1811 году Фурье в очередной раз переменил работу. Его назначили экспертом по приемке сукна на лионские военные склады департамента Роны. Шел второй год войны. В ее ходе в состав Французской империи была включена Голландия, а затем и все побережье Северного моря.
«Мировая империя» Наполеона закончилась в апреле 1814 года. Фурье был раздосадован поражением Наполеона, так как считал, что тот, обладая выдающимися способностями, должен был сделать шаг к осуществлению универсальной гармонии, к счастью народа, то есть к тому, о чем мечтал сам Фурье.
Благодаря покровительству дальнего, но влиятельного родственника, знаменитого математика, физика, военного и политического деятеля графа Жана-Батиста-Жозефа Фурье. Шарль получил должность заведующего бюро статистики префектуры Роны. Новая работа оторвала Фурье от прилавка.
В эти годы мыслитель заканчивает «Новый любовный мир» (опубликован только в 1967 году). По моральным соображениям ученики будут тщательно скрывать рукопись, хотя отдельные разделы выйдут как самостоятельные статьи. Фурье описывает сексуальную организацию фаланг, основанную на страстном влечении, свободной любви и множественности любовных связей. Социальная сплоченность в фалангах должна быть, по мысли Фурье, очень сильной, так как каждый связан со своими коллегами по работе в различных сериях и с сексуальными партнерами. Фурье предусматривал всемирную федерацию общин.