Уже осенью 1704 года Шереметев получил приказ Петра I отправиться во главе корпуса русской конницы против корпуса генерала Левенгаупта, находящегося в Литве. После прибытия в Витебск Шереметев обнаружил, что фураж для лошадей отсутствует, и решил не выходить в поход до тех пор, пока он не будет доставлен в войска. Раздосадованный поведением своего фельдмаршала, Петр прислал в Литву Меншикова, доставившего Шереметеву указ о переподчинении части его войска, прежде всего пехоты, фельдмаршалу Георгу Огильви, недавно нанятому на царскую службу. Конница по-прежнему оставалась под командованием Шереметева, но русский фельдмаршал был чрезвычайно недоволен создавшимся положением, ведь фактически своим указом Петр создавал в армии двоевластие.
Среди серии побед были у фельдмаршала Шереметева и военные неудачи. Так, в сражении у Мур-Мызы он потерпел поражении от корпуса Левенгаупта, но вскоре, приведя войска в порядок, Шереметев вновь перешел в наступление. Это было единственным поражением Шереметева за годы Северной войны, но оно скоро было забыто из-за новых побед, одержанных под руководством самого Петра I.
В конце 1706 года, после возвращения из Астрахани, где он руководил подавлением стрелецкого восстания, Шереметев вновь оказался в действующей армии. К этому времени он был пожалован графским титулом. Это было незадолго до вторжения шведских войск в Россию, и теперь фельдмаршал вновь оказался на главном направлении. Под его непосредственным руководством сейчас было 57, 5 тысячи человек – главные силы русской армии. Ей противостояло 25-тысячное войско во главе с самим Карлом XII.
В августе 1707 года шведское войско покинуло Саксонию и вторглось в пределы России. Несмотря на то что шведский король мечтал о генеральном сражении, Петр I не дал Карлу XII такой возможности и начал отступление с целью постепенного изматывания войск противника.
В начале марта 1708 года в местечке Бешенковичи состоялся военный совет, который обсудил план предстоящей войны с Карлом XII. Предложенный Меншиковым план кампании, Борис Петрович подверг критике. В свою очередь, он предложил иной план. Суть его сводилась к тому, чтобы отходить с боями, разрушать коммуникации противника, изнурять его силы, а потом дать шведам решительное сражение на своей территории.