Дед поэта, адмирал Джек Байрон (1723—1786), сознательно тратил кипучую энергию на кругосветные плавания, опасности и сражения со стихией, гася тем самым излишки темперамента. В свое время он пользовался славой замечательного, отважного, но несчастливого моряка, так как ни одна его экспедиция не проходила без приключений. Еще в молодые годы Джек Байрон совершил кругосветное плавание и принял участие в экспедиции против испанских колоний на островах Тихого океана. Во время сильной бури весь флот погиб, а его корабль потерпел крушение у западных берегов Америки. Джеку Байрону и нескольким матросам удалось добраться до необитаемого острова, а затем они решили попытаться вернуться в Англию на уцелевшей небольшой лодке. На пути их снова настигла буря, и все погибли, кроме Джека Байрона. Он сумел добраться до восточного берега Бразилии, где был взят португальцами в плен. В плену он провел два года, а затем вернулся в Англию. О своих приключениях он написал книгу, которая вышла в Лондоне в 1766 году. Самой известной стала его экспедиция в южные полярные страны, предпринятая им в 1764—1766 годах.
Его старший сын, отец поэта, названный, как и его отец, Джеком, получил прекрасное образование в Вестминстерской школе в Лондоне, а затем продолжил его в одной из лучших военных академий Франции. Неуемный наследственный темперамент он перевел сначала в воинскую храбрость, получив чин капитана и прозвище «сумасшедший Джек», а затем в азарт игрока. Он был необычайно красив собой, любил жить «на широкую ногу» и пользовался успехом у женщин. В первый раз он женился на леди Карматен, которую увез от мужа на континент. Они обвенчались после того, как лорд Карматен дал жене развод. Но этот брак был недолгим. Быстро растратив состояние жены, он довел ее до могилы. От этого брака у него осталась дочь – Августа – сводная сестра поэта и в дальнейшем его лучший друг. Второй его женой стала Екатерина Гордон, чьи предки находились в родстве с шотландской королевской фамилией. Она была очень богатой женщиной. В 1786 году молодая чета Байронов отбывает во Францию, где муж очень быстро сумел пустить на ветер состояние жены. Екатерине пришлось продать свое имение, чтобы расплатиться с кредиторами мужа. Через два года они вернулись в Англию и поселились в Лондоне. Спустя несколько дней после приезда, а именно 22 января 1788 года, Екатерина родила своего первого и единственного ребенка – Джорджа.
Следует отметить, что как по линии отца, так и по линии матери Джорджу достались не лучшие наследственные черты. Его мать была женщиной крайне страстной и нервной, рабой своих прихотей. Кстати сказать, ее отец покончил жизнь самоубийством, бросившись в канал без видимых на то причин. Мать Джорджа Байрона не отличалась красотой, а характер привлекал в ней еще меньше. Вспыльчивая, раздражительная, капризная и тщеславная, она в припадке ярости рвала на куски одежду и жестоко била сына. По ее неосмотрительности Джордж с первого года жизни остался хромым на всю жизнь.
