Piratenhandwerk auf den Inseln sogar offiziell, da sie erkannten, dass es eine großartige Einnahmequelle bot. Außerdem schien es wohl auch vernünftig, wenn man der unausrottbaren Räuberei im westlichen Mittelmeer ohnehin nicht beikommen konnte, diese Praxis innerhalb gewisser Grenzen für sich selbst auszunutzen. Allerdings sprach man in dieser Zeit proaktiver Inselverteidigung lieber von „Freibeutern“. 1365 beispielsweise war Pere Bernat, ein berüchtigter ibizenkischer Korsar, mit einem Kaperbrief ausgestattet worden, um die Insel vor marodierenden Maurenschiffen zu schützen. Den derart legitimierten Freibeutern standen demnach beachtliche achtzig Prozent sämtlicher Prisen zu, während die Krone lediglich zwanzig für sich beanspruchte. Zu Beginn des 17. Jahrhunderts galten die ibizenkischen Korsaren im westlichen Mittelmeer als berüchtigt und gefürchtet und stellten nicht nur große Mengen gestohlener Güter sicher, sondern wurden als wahre Helden gefeiert, weil sie Menschen befreiten, die den Mauren in die Hände gefallen und von ihnen versklavt worden waren. 1806 kaperte der ibizenkische Freibeuter Antoni Riquer Arabí die Felicity, einen englischen Segler, der von dem gefürchteten Piraten Michele Novelli gesteuert wurde, den man auch den „Papst“ nannte. Von Arabís Schiff El Vives und seiner furchtlosen Besatzung erzählen immer noch viele einheimische Legenden.
Nachdem die Hauptstadt der Insel, Ibiza-Stadt, im 16. Jahrhundert von türkischen Plünderern völlig geschleift worden war, baute man anschließend Wachtürme an der Küste und im Inland, die größtenteils bis heute erhalten sind. 1715 beanspruchten die Kastilier die Insel für sich, tauften sie schnell von Eivissa in Ibiza um und führten Kastilisch als offizielle Sprache ein; auch die cuartons bekamen kastilische Versionen ihrer früheren Namen aufgezwungen. Zudem bauten die Kastilier Rathäuser, verhökerten die Salinen, bauten noch mehr Kirchen und setzten den ersten katholischen Bischof der Insel ein. Damit begann nach Ansicht vieler Historiker für die Insel eine lange Phase kultureller Unterdrückung.
Erst gegen Ende des 19. Jahrhunderts wurde es wieder ein wenig bunter auf Ibiza. Mit den neuen Fährlinien kamen Besucher vom Festland und ließen sich teilweise dauerhaft nieder. Zu den ersten Künstlern, die Ibiza in den 1930er-Jahren bereisten, zählte der dem Dadaismus zuzurechenende Fotograf Raoul Hausmann, und es folgten viele Maler und Schriftsteller, die den dunklen Wolken des Faschismus zu entkommen suchten, die sich allmählich über Europa zusammenzogen. Diese Flüchtlinge stellten die ersten Vorläufer der Hippies auf Ibiza dar.
Doch bevor der Tourismus auf der Insel erblühen konnte, brach 1936 der spanische Bürgerkrieg aus und das albtraumhafte Blutvergießen traumatisierte die Familien so stark, dass die meisten Einheimischen bis heute nicht darüber sprechen wollen. Die Bevölkerung unterstützte teils die Nationalisten, teils die Republikaner, sodass Cafés zu Treffpunkten und Nachrichtenzentren für die jeweiligen Gruppierungen wurden. Beide Seiten begingen entsetzliche Gräueltaten. Für den grausamsten Vorfall waren die katalanischen Anarchisten verantwortlich, die kurzzeitig die Kontrolle über die Insel wiedererlangten, nachdem sie die Franco-hörigen Nationalisten vertrieben hatten. Die Anarchisten ermordeten über hundert nationalistische Gefangene, die in einem Sperrbezirk innerhalb der Dalt Vila festgehalten wurden. Als die Nationalisten zurückschlugen, suchten sie das Umland nach Republikanern ab und folterten oder töteten alle, die sie fanden, oder aber sie brachten sie in ein eigens dafür eingerichtetes Konzentrationslager bei La Savina auf Formentera, wo viele Menschen verhungerten. Der Rauch der Feuer aus dem Bürgerkrieg hat eine bis heute erkennbare Spur auf der Insel hinterlassen, und viele Familien haben die Zerwürfnisse der damaligen Zeit noch nicht verziehen.
Nach und nach ersetzten die christlichen Feiertage die traditionellen, heidnischen Feste. Die im Norden der Insel gefeierte Nit de Sant Joan, die jedes Jahr am Abend der Sommersonnenwende stattfindet, ist ein großartiges Beispiel für ein vormals heidnisches Fest, das nun offiziell im Namen eines christlichen Heiligen begangen wird, während die alten Bräuche erhalten blieben. Hier sind Menschen jeden Alters willkommen, auch Kinder, und bis vor kurzem war eine Trance-Party, die in den frühen Morgenstunden direkt vor dem Rathaus des Örtchens Sant Joan veranstaltet wurde, ein fester Bestandteil der Feierlichkeiten. Der Höhepunkt der Nit de Sant Joan besteht darin, über die großen Feuer zu springen, die um Mitternacht auf einem nahe gelegenen Feld entzündet werden. In schneller Folge setzen die Einheimischen über die Flammen hinweg, die bei diesen Sprüngen alle schlechten Energien verbrennen sollen. Eine andere Tradition zur Sommersonnenwende sieht vor, alle Hoffnungen und Träume auf kleine Papierstückchen zu schreiben und sie dann zu verbrennen.
Brautwerbungsrituale, traditionell wie auch modern, spielen auf Ibiza eine große Rolle. Die Insel wird oft als ein Ort beschrieben, der gut für Sex, aber schlecht für tragfähige Beziehungen ist, und die Rituale, mit denen man sich in der Clubszene einander nähert, entstammen einer langen Tradition, die den ausgefeilten Flirt höher schätzt als die dauerhafte Liebe. Der britische Linguist und Übersetzer John Ernest Crawford Flitch erkannte dies bereits 1911, als er in seinem Buch Mediterranean Moods beschrieb, wie in der Kirche von Santa Eulària geflirtet wurde: „Bei dem Feuer handelte es sich keinesfalls nur um ein feu de joie, sondern um eine tödliche Begegnung; kein Lächeln war lediglich leichtfertig, trivial oder kokett, sondern als ernste Aufmerksamkeit zu werten, so wie jeder Überschwang letztlich eine ernste Grundlage hat. In diesem Augenblick erkannte ich, dass es bei der Messe vielleicht nicht nur um religiösen Eifer ging. In der Luft lag etwas weit Betörenderes als der Weihrauch. Sie war schwer vom Rauch der Leidenschaft … Leben, das fieberheiß glüht. Das wichtigste Geschäft in Santa Eulària ist ganz offenbar die Liebe.“ Nachdem er anschließend die Jugend bei Tanz und Flötenspiel am Meer beobachtet hatte, fügte er hinzu: „Die Brautwerbung wird auf Ibiza heikel und gefährlich verhandelt. Die Mädchen haben es nicht eilig, sich einem einzigen Geliebten zu verschreiben. Wieso sollten sie das auch tun, solange sie die Herzen von einem halben Dutzend Verehrer oder mehr haben, mit denen sie spielen können? Aber das Spiel ist sehr gefährlich, und um es zu spielen, ohne dass es zu Katastrophen kommt, braucht es eine ruhige und geschickte Hand.“
Der deutsche Philosoph Walter Benjamin verbrachte Anfang der 1930er-Jahre viele glückliche Zeiten auf Ibiza. Ältere Einwohner erinnern sich an diese Ära oft als an eine besonders glückliche in der Geschichte der Insel, geprägt von einem einfachen und ruhigen, idyllischen Leben. Die wenigen Gäste, die sich hierher verirrten, verbrachten ihre Tage mit Schwimmen, Bergwandern, Meditieren oder Lesen, und sie genossen die herrliche Einsamkeit, die sich in der schönen Landschaft überall fand. Benjamin und sein Freund Jean Selz, der sich brüstete, „der einzige Franzose auf der ganzen Insel“ zu sein, waren zwei der wenigen Besucher, die es nach Ibiza verschlug, und beide berichten in ihren Schriften davon, wie es damals dort zuging. Benjamin lebte in einem alten Haus in Sant Antoni, ließ sich aber oft in der Bar Migjorn blicken, die 1933 ebenso wie das Hotel Montesol (das ursprüngliche Grand Hotel) an der Hauptstraße Vara de Rey eröffnete und schon bald zum Treffpunkt für die wenigen Ausländer wurde, die in es der Gegend gab. Und die Freiheit des Geistes, die durch die Schönheit der Natur auf der Insel verstärkt wurde, ging schon damals damit Hand in Hand, dass man sich auf den Terrassen der mediterranen Bar auch in anderer Hinsicht jede Freiheit nahm. Benjamin hatte zwar 1927 in Berlin auch einmal Haschisch geraucht, galt aber ansonsten als Musterbeispiel tugendhafter Zurückhaltung; dennoch betrank er sich eines Abends fürchterlich in der Bar Migjorn mit 148-prozentigem Gin, brach daraufhin auf dem Bürgersteig zusammen, bestand aber wenig später darauf, die fünfzehn Kilometer bis zu seinem Haus in Sant Antoni zu Fuß zurück zu gehen. Benjamin und Jean Selz rauchten auch einmal gemeinsam Opium an einem Platz oberhalb des Hafens. 1940 nahm sich der brillante Kritiker und Philosoph in Port Bou das Leben, um nicht in Gefangenschaft der Nazis zu geraten.
Nach Ibiza geflohen war auch Raoul Villain, jener Mann, der kurz vor dem Ausbruch des Ersten Weltkrieges den französischen Sozialistenführer Jean Jaurès ermordet hatte, eine Tat, die mittelbar dazu führte, dass Frankreich drei Tage später die Generalmobilmachung befahl. Villain wusste, dass die Insel als ideales Versteck für alle galt, die untertauchen wollten, und der Enkel des Malers Paul Gauguin half ihm, sich an der damals noch sehr abgelegenen Cala de Sant Vincent im äußersten Norden der Insel ein Haus zu bauen. Vielleicht wäre es ihm gelungen, sein Leben dort in Frieden zu beschließen, aber sein Schicksal wendete sich abrupt, als er während des Bürgerkrieges von republikanischen Truppen aufgespürt wurde. Die Männer fanden sein Verhalten seltsam und verdächtigten ihn, ein Faschist zu sein; er hingegen war überzeugt, dass die Soldaten