Фурье арестовали, но ему удалось избежать наказания, и он решил вернуться к себе на родину, в Безансон. Здесь его ждал второй арест. После освобождения Фурье призвали на военную службу, где он приобрел репутацию преданного, честного и смелого защитника революционной Франции. Недавний торговец разработал план перехода войск через Рейн и Альпы, за что получил благодарность от генерала Карно. Возможно, Фурье ждала бы стремительная карьера военного, но в 1796 году по состоянию здоровья его освободили от службы.
И снова ему пришлось заняться торговым делом. Он получил должность приказчика в Марселе. Алчность купцов не знала пределов. Особенно потрясло Фурье решение его хозяина сбросить в море 60 000 пудов риса, которые он сгноил в выжидании повышения цен.
Фурье начал размышлять о причинах существующего зла, путях спасения человечества. Он оказался свидетелем того, как на трон политического господства взошла новая общественная сила — буржуазия. Молодой мыслитель делает вывод о том, что возникший буржуазный строй, прославленный философами и экономистами, находится в вопиющем противоречии с целями человеческого существования. Он задумывается о судьбах мира и разрабатывает идею «всемирного единства». К тридцати годам приходит решение стать социальным реформатором.
Это решение Фурье связывает с двумя фактами из своей жизни: потопление риса в Марселе и обедом в парижском ресторане, где ему подали яблоко, которое стоило почти в сто раз дороже, чем в Нормандии. Оба случая окончательно уверили его в несовершенстве «индустриального механизма» буржуазного строя. На склоне лет он утверждал, что ему, как и Ньютону, удалось благодаря яблоку открыть идею об «ассоциации». «В мире было четыре знаменитых яблока: два гибельных — яблоки Евы и Париса, из-за которого возникла Троянская война; два благотворных — Ньютона и мое».