Но для выходцев из Магриба жизнь складывалась несладко. Они зачастую были безграмотны, их презирали, они жили на грани нищеты, прозябая в убогих гостиницах или в ветхих и перенаселенных домах, а то и вовсе в отдаленных бидонвилях. Прожив пару недель у племянника неподалеку от ворот Клиньянкур, отец Зинедина не смог найти себе жилье и вынужден был некоторое время жить в импровизированной ночлежке на стройплощадке, где он работал. Потом с тремя приятелями снял комнатушку в Сен-Дени. Там, где спустя несколько десятилетий вырастет из земли стадион «Стад де Франс», чтобы на чемпионате мира прославить спортивные подвиги его сына. В Сен-Дени он прожил несколько лет, а потом, в 1962 году, отправился в Марсель с намерением вернуться в получивший независимость Алжир. Перед тем как сесть на корабль, Смаил зашел попрощаться с родственниками, которые сумели прижиться в этом городе. И познакомился с Маликой, одной из своих кузин, родившейся в одной с ним деревне. Тогда он решил жениться на ней и остаться во Франции. В этом браке родились пятеро детей, четыре мальчика и девочка: Маджид, Фарид, Нордин, Зинедин и Лала. Зине-дин был самым младшим ребенком в семье Зидана.
В начале семидесятых годов семейство обосновалось в Кастеллане, городке севернее Марселя. Некоторые из его кварталов – наглядный пример гигантских однообразных городских комплексов, которые после Второй мировой войны возникли по всей Европе. Ряды огромных зданий заслоняли горизонт, в крытых галереях приютились немногочисленные торговцы. Больница находилась в двух шагах, школа тоже была рядом. Кастеллан – самый большой микрорайон Марселя с населением около пяти тысяч человек, был все же замкнутым мирком, откуда люди выходили крайне редко. Это был островок в центре города, и молодежь гордилась своей принадлежностью к этому мирку. Взрослые, особенно мужчины, были к нему не столь сильно привязаны: ведь им приходилось ездить оттуда на работу, они считали свой район просто «спальным районом». А молодежи приходилось учиться приспосабливаться к этому месту, откуда они практически не выезжали: это была их территория. Со временем безработица и экономический кризис особенно сильно ударили по городу, а его северные районы вообще погрузились в бедность и нищету. Там собрались иммигранты, рассчитывая на поддержку и понимание своего сообщества. Таким образом, эти кварталы стали постепенно превращаться в нечто похожее на гетто. К сожалению, Кастеллан не смог избежать этой участи.
Семья Зиданов перебралась в небольшой трехэтажный дом, где заняла дешевую четырехкомнатную квартиру, частично оплачиваемую государством. Там были зал-столовая скромных размеров, кухня с окнами на площадь и несколько комнат. Лала получила отдельную комнату, а Зинедину пришлось жить вместе со старшим братом Маджидом, которого иногда звали Джамелем в память о дяде, которому очень нравилось это имя. Стены их комнаты были обклеены портретами футболистов. А Фарид с Нордином поселились вместе в другой комнате.
Семья жила тихо