По некоторым сведениям, Борис Шереметев учился в Киевской коллегии (впоследствии Академии), находящейся в Киевской лавре. В доме своего отца Борис Шереметев познакомился с представителями польской аристократии. Впечатления от этих встреч не могли не отразиться на мировоззрении Шереметева, хорошо воспринимавшего как польскую культуру, так и польский язык. Уже при дворе Петра I Шереметев завоевал у посещавших царя иностранцев репутацию самого вежливого и наиболее культурного человека.
Службу при дворе царя Алексея Михайловича он начал стольником в 1661 году. Он сопровождал царя в поездках по монастырям и царским селам или стоял рындой на его торжественных приемах. В 1679 году он был назначен в Большой полк товарищем воеводы. Спустя два года получил место на должность воеводы недавно организованного Тамбовского разряда.
В 1682 году, по случаю восшествия на престол царей Петра и Иоанна, Шереметев был пожалован в бояре. Это делало его членом Боярской думы и давало возможность принимать личное участие в управление государственными делами.
В период борьбы между Петром и Софьей Борис Петрович одним из первых поддержал Петра. С тех пор он стал ближайшим сподвижником молодого государя, хотя всю жизнь между ними сохранялась определенная дистанция. Выходцу из старинного аристократического рода претило много нового, появившегося в обычаях русского царя, что шло вразрез с его представлениями о царском величии. Не импонировало ему и то, что Петр I окружал себя людьми из «подлых» фамилий, мало считаясь при этом с интересами фамилий древних. Он так и не смог до конца приспособиться к новому двору.
Но при том в нем проявилось иное качество, во многом чуждое новому окружению царя – близость к солдатской массе. Боевые действия русских войск под командованием Шереметева во многом напоминали черты военного искусства предшествующего столетия – они отличались медлительностью, осторожностью, отказом от рискованных операций.
В 1695 году Петр I поручил Шереметеву формирование 120-тысячной армии для предполагавшейся войны с Турцией. Конечной целью новой войны должен был стать Азов. Шереметев, уже имевший опыт борьбы с Крымом, пытался предупредить царя о рискованности этого предприятия. Все же он смог сформировать армию и повести ее в поход. В том же году армия Шереметева взяла хорошо укрепленный Кизы-Кермень на Днепре. Это так испугало турок, что они без боя оставили еще три укрепленных городка. И все же, не желая рисковать, Шереметев не пошел на Крым, а повернул на Украину.
