Преображенским полком великий князь командовал шесть лет, а в 1900 году он получил назначение на должность главного начальника, а затем генерал-инспектора военно-учебных заведений. Эта должность стала для него началом новой деятельности, а о его человеческих качествах воспитанники будут вспоминать долгие годы. Константин Константинович за годы службы в этой должности побывал во всех кадетских корпусах и училищах, разбросанных по всей стране. Он знал если не всех, то очень многих кадетов и юнкеров по фамилии, относясь к воспитанникам училищ без лишней строгости, благожелательно, по-отечески.
С началом Первой мировой войны все старшие сыновья Константина Константиновича ушли на фронт. Возраст и состояние здоровья не позволили К.Р. принять участие в военных действиях. Стремясь принести пользу стране в это трудное время, он вместе с супругой решил приобрести у Красного Креста оборудованный передвижной лазарет и передать его 1-й армии. В самом начале войны пришло первое трагическое известие – 27 сентября 1914 года во время наступления был тяжело ранен сын, Олег Константинович. Через два дня он скончался. В мае 1915 года новое горе – под Львовом пал смертью храбрых муж старшей дочери Татьяны Константиновны, князь Багратион-Мухранский.
Все это крайне плохо отразилось на здоровье великого князя. Он глубже ушел в себя, не желая перекладывать горечь утрат на других. До последних дней он оставался на службе в должности генерал-инспектора военно-учебных заведений.
Великий князь Константин Константинович скончался 15 июня 1915 года и был похоронен в усыпальнице Петропавловского собора.
Недалеко от Парижа есть русское кладбище, на котором захоронены многие деятели российской эмиграции. Здесь есть также и несколько мемориальных памятников. На одном из камней надпись: «Отцу всех кадетов». Так своеобразно почтили кадеты-эмигранты своего главного наставника, много сделавшего для их воспитания.