В 1697—1699 годах Борис Петрович находился в Европе, выполняя дипломатические поручения.
Как полководец Шереметев приобрел широкую известность в годы Северной войны. С января 1700 года он уже назывался «генералом» и начальником «дворянской нестройной конницы». В сентябре его войско было под Нарвой, где через два месяца русские войска потерпели жестокое поражение. Однако отношение Петра к своему генералу не изменилось, и две недели спустя после Нарвского сражения он поручил ему идти в шведские земли и нанести сколько возможно вреда противнику.
В декабре 1701 года Шереметев принес России первую победу над шведами в сражении у села Эрестфер. За эту победу Шереметев был награжден орденом Св. Андрея Первозванного и был произведен в фельдмаршалы. Продолжая действовать против войск Шлиппенбаха, он одержал еще более крупную победу над ним под Гуммельсгофом в июле 1702 года. 
В продолжение двухмесячного похода удалось захватить крепости Мензу и Мариенбург. При взятии Мариенбурга в числе пленных оказалась и будущая жена царя Марта Скавронская (будущая императрица Екатерина I). В сентябре Шереметев с войском вернулся в Псков, ведя с собой свыше тысячи пленных солдат и офицеров, 51 орудие и 26 знамен.
Осенью, двинувшись к устью Невы, войска Шереметева овладели крепостью Нотебург. Петр переименовал Нотебург в Шлиссельбург («Ключ-город») и отпраздновал его взятие торжественным парадом войск через триумфальные ворота в Москве. А в следующем году были взяты Ниеншанц, Копорье, Ямбург и Везенбург. Таким образом, в 1703 году войска фельдмаршала Шереметева завоевали землю древней Ингрии с выходом к Балтийскому морю.
В апреле 1704 года по приказу Петра к Дерпту был направлен корпус под командованием Шереметева. Взяв город, фельдмаршал успел еще и содействовать царю в овладении Нарвой.
