Получив хорошее домашнее образование, в возрасте 15 лет Николай поступил юнкером в Николаевское инженерное училище. Из стен училища он вышел в чине прапорщика и был оставлен в столице в учебном пехотном батальоне. Затем великий князь поступает в Николаевскую академию Генерального штаба, которую оканчивает в 1876 году с серебряной медалью. Его имя было занесено на мраморную доску.
В период русско-турецкой войны 1877—1878 годов он был определен офицером для особых поручений при главнокомандующем Дунайской армии – своем отце. На него было возложено ответственное задание по проведению рекогносцировки берегов Дуная с целью выбора места для переправы войск. Во время войны Николай Николаевич принимал участие в штурме Систовских высот и в захвате Шипкинского перевала. За проявленную храбрость в боях он был награжден орденом Св. Георгия 4-й степени и золотым оружием с надписью «За храбрость».
По окончании войны Николай Николаевич был направлен в лейб-гвардии гусарский полк. В нем он прослужил в течение 12 лет – командовал эскадроном, полком, кавалерийским дивизионом.
В 1885 году он был произведен в генерал-майоры, а став в 1890 году генерал-лейтенантом, великий князь получил в командование гвардейскую кавалерийскую дивизию. Начиная с 1895 и до 1905 года он служил генерал-инспектором кавалерии, одного из самых многочисленных и почитаемых родов войск в русской армии. Под его руководством в кавалерийских войсках произошли значительные изменения. Великий князь выступил инициатором и разработчиком нового кавалерийского устава, в котором был обобщен опыт применения кавалерии во второй половине XIX века. Благодаря его трудам кавалерийские войска стали подвижными, маневренными и выносливыми. За службу он был награжден орденом Св. Владимира 1-й степени, а в 1901 году получил чин генерала от кавалерии.
В начале русско-японской войны 1904—1905 годов он отказался принять в ней участие, так как не ладил с наместником России на Дальнем Востоке адмиралом Е.И. Алексеевым, а в год окончания войны князь возглавил Совет государственной обороны и оставался на этом посту до 1908 года, став затем командующим Петербургским военным округом и начальником войск гвардии.
