Наконец он успокоился тем, что снял квартиру на другом конце Куин-стрит, иногда заходил к жене и вполне мирно пил с ней чай. Хотя миссис Байрон могла прийти в бешенство, стоило ему лишь заикнуться о деньгах, она порой начинала изображать смехотворные приступы любви к своему Джонни. Такими же вспышками гнева и демонстративной любви впоследствии отличалось ее отношение к сыну, который унаследовал характер своей матери. Когда однажды она отругала его за испачканный костюм, который он только что надел, минуту он молча стоял бледный от бешенства, а потом разорвал одежду на куски.
Часто капитан испытывал родственные чувства к своей сестре, миссис Ли, особенно когда мог получить от нее чек. Если он уезжал, миссис Байрон тосковала. Она находила отдушину в смешанном чувстве ненависти и любви к сыну, который напоминал ей мужа. Поэт вспоминал: «Моя мать, рассердившись на меня (и надо признаться, я давал ей для этого немало поводов), говорила: «Ах ты, щенок, ты настоящий Байрон, такой же дурной, как твой отец!» Но уже в следующее мгновение она покрывала его поцелуями.
Содержание миссис Байрон уменьшилось до 135 фунтов, потому что пришлось заплатить 300 фунтов – долг, который успел сделать ее супруг, находясь в Шотландии. И по-видимому, он вернулся туда еще в сентябре 1790 года, чтобы вытянуть очередную сотню фунтов из суммы, идущей от оплаты аренды поместья бабушкой миссис Байрон. Эти деньги были ему необходимы для возвращения во Францию. После этого его видели в Валансьене, в доме сестры, когда он волочился за служанками и актрисами. Жена и сын больше не увидели его.
Письма капитана Байрона к сестре похожи на те, что его ставший знаменитым сын впоследствии написал из Венеции, где вовсю развлекался на карнавале: «И в кого, ты думаешь, я влюблен? В новую актрису, приехавшую из Парижа. Наверное, я уже влюблялся в треть женского населения Валансьена, особенно меня очаровала девушка из «Красного орла», местного постоялого двора. Я как-то заглянул туда, потому что шел сильный дождь. Очень красивая и высокая, и мне все эти любовные дела еще не наскучили».
В отчаянии миссис Байрон настолько забыла гордость, что обратилась к миссис Ли с просьбой одолжить ей 40 фунтов, потому что ее имущество было описано кредиторами, «все из-за долгов, которые мне пришлось оплатить по вине его расточительности». По-видимому, миссис Ли была тронута этой жалобной просьбой, которая была прислана в конверте, запечатанном красным сургучом с девизом гордых Байронов. Но Джеку Байрону нужны были только деньги для удовлетворения своих прихотей. В письме к сестре 16 февраля 1791 года он высокомерно отзывался о своей супруге и лишь однажды упомянул о сыне: «Что касается миссис Байрон, я рад, что она пишет тебе. Когда находишься далеко от нее, она кажется приятной дамой, но я клянусь всеми апостолами, что ты не проживешь с ней и двух месяцев, потому что если кому и удалось притерпеться к ней, так это мне. Что до моего сына, я рад слышать, что он здоров. Но ходить он не может, потому что нога его искривлена».
Летом