В 1573 году Альба был отозван из Нидерландов и вскоре попал в опалу при дворе Филиппа II. В 1580 году он вновь был поставлен во главе армии и завоевал Португалию, захватив Лиссабон и изгнав оттуда короля Антониу I.
Это была последняя кампания герцога. Он прожил еще недолго, скончавшись 11 января 1582 года.
Альбе приписывается введение в армии усовершенствованного ручного огнестрельного оружия, которым он вооружил своих солдат вместо прежних аркебузов.
Однако он вошел в историю, прославившись не столько своими военными талантами, сколько своей жестокостью, которой сопровождались все его походы, и особенно усмирение Нидерландов. Наделенный от природы железной волей, непреклонным характером и огромной энергией, гордый и надменный даже с равными, Альба презирал всех, кто не разделял ею взглядов. Сам Альба был воспитан солдатом и с раннего возраста привык к суровой дисциплине. Никто другой лучше него не мог быть исполнителем воли короля Филиппа II, для которого «цель оправдывала средства». В течение его шестилетнего правления Нидерландами пытки и казни десятками совершались ежедневно.
Альба добился вынесения королевского повеления, согласно которому все жители Нидерландов, отпавшие от католической веры, подлежали смерти. Согласно этому указу, аресты и последующие за ними казни уже исчислялись десятками тысяч. Имущество арестованных конфисковывалось на содержание испанских солдат. Многочисленные казни и конфискации повлекли за собой массовую эмиграцию в Англию.
Альба был так уверен в своей правоте и в том, что он исполняет свой долг перед Богом и королем, что, когда Филипп II из-за массовых протестов в Европе против безумной жестокости Альбы послал ему приказ об отзыве, Альба не поверил этому, и приказ пришлось повторять снова.