Карьера военного как представителя старинного баварского рода потомственных военных была определена для него самим рождением. Франц не стал нарушать традиции семьи, и отец записал его в 3-й полк полевой артиллерии, в котором сам служил с 1893 по 1895 год командиром батареи, а с 1901 года стал командиром полка.
Начальное военное образование Франц получил в кадетском корпусе, который окончил с высшим баллом. Среди офицеров он выделялся блестящими аналитическими способностями и, прослужив некоторое время в полку, был направлен для продолжения учебы в Баварскую военную академию, которую успешно окончил в 1914 году.
Во время Первой мировой войны он служил в штабах различного уровня. Первое место службы Гальдер получил в штабе дивизии, а в конце войны он работал в штабе группы армий.
Его способности не остались незамеченными, и после окончания войны он остался в рейхсвере – армии, созданной по условиям Версальского договора. Он получил назначение в военное министерство, в отдел боевой подготовки.
В 1920 году он был переведен в Мюнхен в штаб 7-го военного округа на должность преподавателя тактики. В 1923 году Франц Гальдер снова вернулся в войска, где оставался до 1929 года. Затем его снова перевели на работу в военное министерство и в том же году присвоили звание полковника.
Начиная с 1933 года, с момента прихода Гитлера к власти, военная карьера Гальдера стала быстро идти в гору. В 1934 году в звании генерал-майора он получает назначение в штаб 6-го военного округа в Мюнстере на должность начальника штаба. Через год он стал командиром 7-й Баварской дивизии. Затем его производят в звание генерал-лейтенанта и назначают на должность обер-квартирмейстера генерального штаба (в его обязанности входило оперативное руководство войсками). В 1935 году генеральный штаб возглавил генерал Людвиг фон Бек.
Бек был профессиональным военным и прекрасно понимал, что немецкая армия еще не готова к войне. Кроме того, Бек считал, что для Германии необходим прочный военный союз с Англией. Он начал самостоятельно предпринимать определенные шаги в этой области, за что, впал в немилость. Он был категорически не согласен с Гитлером, который требовал решительных военных действий. Бек пытался уговорить высший генералитет выступить против фюрера и тем самым отложить начало военных действий в Европе. Но после заявления Гитлера, что, несмотря ни на что, он в ближайшее время введет войска в Чехословакию, поняв, что переубеждать фюрера бесполезно, он подал в отставку.
