Молодой Помпей начал свою военную деятельность в возрасте 17 лет под командованием отца и вместе с ним подвергся гонениям, особенно обострившимся после его смерти, когда Помпею пришлось защищаться против предъявленного его отцу обвинения в хищении государственных средств (утаивание добычи, взятой при завоевании Аскула) Однако при помощи Луция Филиппа и Квинта Гортензия Помпей выиграл дело. На процессе он выказал твердость и быструю сообразительность, зрелость (не по летам) суждений, чем привлек на свою сторону симпатии сограждан. Претор Публий Антистий, который был на процессе судьей, был так очарован Помпеем, что предложил ему в жены свою дочь и вскоре стал его тестем. В это время Помпей поступил на службу к Цинне, но так как ненависть к его отцу еще не была забыта, Помпей был вынужден удалиться в свое поместье. Он ушел тайком, что дало повод распространить слух о том что Цинна приказал убить Помпея. Некоторое время спустя Цинна был сам убит, и его место занял Карбон – тиран, даже более жестокий, чем Цинна.
В 83 году до н э., когда Сулла высадился в Италии, Помпей перешел на его сторону и сформировал три легиона в Пиценском округе, где находились его земли и где его семья пользовалась популярностью среди местного населения. С этим войском Помпей двинулся навстречу Сулле, разбив по дороге союзную армию Каррины, Клелия и Брута и заняв несколько городов. Сулла с почестями принял Помпея, наградив его титулом императора Отправившись к Метеллу на север Италии, Помпей взял приступом Сену Галльскую и вместе с Крассом вышел в Умбрию, одержав победу при Сполеции.
Когда марианцы были окончательно разгромлены, а Сулла провозглашен диктатором, Помпей был осыпан наградами. Сулла развел его с женой Антистией и женил на своей падчерице Эмилии, разлученной для этого с ее первым мужем.
В 82 году до н э. Помпей был отправлен с большим войском и 120 кораблями в Сицилию против Перперны, который сразу же оставил остров. В это время был схвачен и казнен Карбон. Помпей окончательно уничтожил сторонников Мария в Сицилии, а затем, переправившись в Африку, пошел против Домиция Агенобарба и в течение 40 дней покончил с ним.
После окончания похода Сулла послал письмо Помпею, в котором потребовал распустить войска и ждать себе преемника. Однако воины, среди которых Помпей пользовался необычайной популярностью, отказались повиноваться приказам из Рима. Чтобы не раздражать войска, Сулле пришлось смириться, и он даже послал приветствие Помпею, именуя его Великим. В 79 году до н э. Помпей первым в римской истории, не будучи в звании сенатора, получил триумф. После смерти Суллы Помпей не стал примыкать ни к одной партии или группировке, а остался простым солдатом, исполняющим волю Рима.