читать речи Байрона в палате общин, мальчик гордо ответил: «Нет, если вы и будете читать мои речи, то это будут речи в палате лордов».
Сохранилось свидетельство о по крайней мере одном визите к прабабушке Байрона, Маргарет Дафф Гордон, в Банфе, вероятно во время летних каникул 1795 года, когда миссис Байрон заказала портрет сына художнику Джону Кею из Эдинбурга. В скромном ангельском личике семилетнего ребенка с вьющимися волосами до плеч, изображенного с луком и стрелами, невозможно распознать избалованного и проказливого мальчика.
Возможно, в том же году Байрон впервые встретил свою кузину Мэри Дафф. Годы спустя он напишет в своем дневнике: «Я помню все, что мы сказали друг другу, все наши проявления нежности, ее лицо, свое беспокойство, бессонные ночи, помню, как изводил служанку матери, чтобы она написала Мэри письмо от моего имени… Естественно, тогда я не имел никакого представления об интимных отношениях, и все же мои страдания и любовь к этой девочке были настолько сильны, что порой я начинаю сомневаться, был ли я настолько к кому-нибудь привязан в зрелые годы…»
В 1795-м или 1796 году Байрон провел каникулы в долине реки Ди в сорока милях от Абердина, рядом с Брэмаром. Живописная долина Ди располагала к прогулкам, а вдалеке открывался вид на Морвен и Локна-Гар. Именно там Байрон влюбился в шотландские горы и долины. Он носил национальный наряд клана Гордонов из темно-синей шерстяной ткани в светло-зеленую с желтым клетку. Если не считать одной вспышки гнева, мать относилась к Байрону хорошо и не стесняла его свободы. У него была возможность упражняться в плавании в реках Ди и Дон. Впоследствии плавание, где хромота не была помехой, стало его любимым видом спорта.
Из Англии пришло известие, что пятый лорд Байрон скончался. Произошло это вскоре после десятого дня рождения мальчика. На следующий день ему сообщили, что теперь он шестой лорд Байрон Рочдейльский, после чего он спросил у матери, «заметила ли она происшедшие с ним перемены, потому что он сам не заметил никаких». Смущение он испытал в школе, когда директор прислал за ним, дал ему пирог и вино и сказал, что теперь он лорд. Позже Байрон рассказывал своему другу Хобхаусу, что «угощение и почтительное обращение к нему директора дали ему почувствовать всю высоту его теперешнего положения». Когда в классе без предупреждения произносили его новый титул «Dominus de Вуron» и все в молчании глядели на него, мальчик разражался слезами.
Лондонский агент миссис Байрон, мистер Фаркухар, попросил своего друга Джона Хэнсона с Чэнсери-Лейн заняться ее делами. После переговоров с душеприказчиком старого лорда Хэнсон понял, что миссис Байрон напрасно надеется получать от поместья ежегодный доход в 2000 фунтов: после уплаты всех долгов не на что будет даже похоронить старого лорда. Он умер 21 мая, но только в августе Байроны смогли закончить все дела в Шотландии и начать новую жизнь в Англии. Они смогли переехать туда только благодаря тому, что миссис Байрон продала свою мебель, выручив 74 фунта 17 шиллингов.
Несмотря