В 1169 г. он вместе с Робертом де Мортеном руководил операциями в Линкольншире против англосаксов и датчан.
Роберт также стал жертвой нелепого завещания Вильгельма I. Готовый признать Роберта Коротконогого, он вдруг узрел в качестве короля Англии его младшего брата. Возмущенный граф отказался присягать Вильгельму II, но был принужден тем к повиновению.
В 1088 г., после смерти графа, его сын Вильгельм (1058-?) поддержал Роберта де Мортена и Одо в их начинаниях. Поскольку в Гастингсе находился королевский гарнизон, Вильгельм высадил свои войска на западном побережье – в Бристоле, вторгся в Глостершир, но был разбит королем. Несмотря на это, семья д'Э сохранила свои владения в Суссексе. В 1095 г. граф выступил на стороне взбунтовавшегося Роберта де Моубрея, графа Нортумбрии. О дальнейшей судьбе графа д'Э ничего не известно. Вероятнее всего, он умер в изгнании.
Его сын Генрих (1085–1140) в 1118 г. попытался присоединиться к восстанию баронов Нормандии против короля Генриха I, но был арестован в Руане, после чего окончательно лишился своих английских владений вместе с Гастингсом и закончил свои дни в монастыре в Фекампе.
Генрих I, Стефан Блуа и первые Плантагенеты поочередно размещали в Гастингсе надежные войска, и в результате замок ни разу не был осажден. Увы, сами же хозяева его и разрушили. 22 мая 1216 г. в Кенте высадился французский принц Людовик, сын Филиппа Августа, приглашенный английскими баронами. Ему без боя сдались Кентербери и Рочестер. Напуганный король Иоанн, не доверяя здешнему гарнизону, приказал разобрать большинство укреплений Гастингса. Ослабленная крепостная стена не выдержала многомесячной бури, бушевавшей на южном побережье в 1287 г., и обвалилась вместе со скалой. Первый построенный норманнами английский замок прожил недолгий век.
В отличие от Певенси и Гастингса, замок Дувр (Dover) имеет богатую посленорманнскую историю. Название городу дала река Дор (Dour), чье имя, в свою очередь, восходит к бриттскому Dubras и галльскому Dubron («вода»). Римляне использовали латинизированный вариант Dubris, когда строили здесь крупный транспортный центр. Легенды воспели город как «ключ к Англии», археологи же подвели под них научную базу: якобы в глубокой древности Британия соединялась с континентом узким перешейком, в чьем основании и находился Дувр.
Перед приходом норманнов город давно не процветал. Горожане сдались на милость победителей, но, похоже, вели себя вызывающе. Во всяком случае, Гильом де Пуатье в «Деяниях герцога Вильгельма» утверждает, что норманны «подожгли город и скоро большая его часть была в огне». Герцог задержался в Дувре, ремонтируя дома и компенсируя убытки, а также «добавляя к замку новые укрепления», из чего мы можем заключить, что римская крепость частично уцелела. Поскольку Вильгельм задолго до археологов определился с «ключами», он сразу же выстроил Дуврский замок в камне и назначил констебля. В 1067 г. на замок напал граф Эсташ Булонский (1026–1093), авантюрист, возомнивший себя королем Англии. С большим отрядом воинов он пересек Ла-Манш и высадился в Дувре. Однако