Были у него и другие бои в Польше, включая и знаменитое взятие Варшавы. Затем он принял участие в походе Валериана Зубова на Кавказ и вместе с ним брал Дербент. Именно он, отличившийся при штурме этой доселе считавшейся неприступной крепости, был послан в Петербург с ключами от крепости и извещением о ее падении, что сделало его полковником.
К 1805 году, к моменту начала войны с Наполеоном, он уже пять с лишним лет находился в чине генерал-майора.
Первое боевое столкновение русских и французов состоялось 22 октября 1805 года, а через два дня произошло сражение при местечке Амштетен, где Витгенштейну удалось вписать еще одну яркую страницу в боевую историю военного ордена России.
Здесь, у этого селения, маршал Франции Мюрат, быстро двинувшись вперед, настиг русский арьергард, бывший под командованием Багратиона. Французов было значительно больше, так что русский главнокомандующий Кутузов, который приехал к Багратиону как только услышал о приближающемся неприятеле, решил не искушать судьбу и отдал приказ усилить арьергард отдельным отрядом, составлявшим его резерв. Этим отрядом командовал Милорадович. Когда он подошел к месту сражения, то увидел, что подоспел воистину вовремя: Мюрат уже сталкивал князя Петра Ивановича с его позиции. Поэтому, пропустив Багратиона, Милорадович, в свою очередь, преградил французам дорогу, выстроив свои силы в две линии.
Мюрат с ходу ударил по его правому флангу. Там стояли малороссийские гренадеры, и они устояли. Тогда французский полководец решил обмануть судьбу и перенес свой удар на левый фланг Милорадовича. Этим флангом командовал Витгенштейн, имевший в подчинении мушкетеров, егерей и мариупольских гусар. С ними он и отбил новый приступ неприятеля.
И дабы окончательно отвратить французов от их наступательных намерений, которые они опять начинали испытывать, русские генералы повели в штыки гренадерские батальоны Апшеронского и Смоленского мушкетерских полков. При этом Милорадович крикнул: