Первым опытом великого князя на высоком командном посту стала операция в Восточной Пруссии. По замыслу русского командования германские войска в ходе операции должны были попасть под двойной удар: 1-я русская армия (командующий П.К. Ренненкампф) обходила немцев с севера в обход Мазурских озер и отрезала неприятеля от Кенигсберга, а 2-я армия (командующий А.В. Самсонов) вела наступление с юго-запада, не давая противнику отвести войска за Вислу.
Наступление началось в августе 1914 года. Несмотря на то что русские войска обладали некоторым превосходством над противником, к началу сентября Восточно-Прусская операция завершилась полным поражением армий Северо-Западного фронта. Русские войска понесли огромные потери – было убито и взято в плен до 250 тысяч человек.
Восточно-Прусская операция ярко выявила неподготовленность верховного главнокомандующего и его штаба к управлению войсками и решению стратегических задач. После поражения Николай Николаевич посылает императору следующую телеграмму: «Я совершенно сознаю, что не сумел настоять на исполнении моих требований, посему слагаю перед Вашим Величеством мою повинную голову». Император не стал привлекать к ответу виновников гибели и пленения четверти миллиона русских солдат в Восточной Пруссии, а чтобы поддержать главнокомандующего, он награждает его орденом Св. Георгия 3-й степени.
На Юго-Западном фронте дела обстояли более успешно. Там предусматривалось наступление 5-й и 3-й армий на Львов с целью окружения и уничтожения основных сил Австро-Венгрии. Командование противника решило остановить продвижение русских войск, но шестидневная битва вынудила австрийцев отступить за реку Сан и Дунаец, понеся огромные потери.
Эти победы явились своеобразным подарком для верховного командования русской армии. В сочетании с действиями войск на Люблинском направлении создавались условия для разгрома австро-венгерских армий. Галицийская битва, продолжавшаяся на фронте в 400 километров почти 40 суток, принесла русским новую победу. В этом сражении австрийские войска потеряли около 400 тысяч человек убитыми, ранеными и плененными. Русские войска потеряли почти 230 тысяч солдат и офицеров. Верховный главнокомандующий немедленно доложил об этом императору и представил ходатайство о награждении орденами всех командующих армиями Юго-Западного фронта и многих командиров корпусов и дивизий орденом Св. Георгия 4-й степени. Несколько военачальников были представлены к ордену Св. Георгия 3-й степени.