Всезнайство Филипа стало действовать Энди на нервы. В их воскресные визиты в музей Энди напоминал Филипу недовольного ребенка, сопровождающего папу в мероприятиях, которые чаду абсолютно не интересны. Он бесился, когда они выходили не на той остановке метро, потому что Филип всегда утверждал, будто знает, где они находятся. «Я знал, что не наша остановка!» – воскликнул бы Энди. А он и правда знал, но никогда ничего не говорил.
К исходу осени 1949 года остатки их группы из Теха – Кесслеры, Лейла Девис и Элли Саймон – переехали в Нью-Йорк, и все пошло, как прежде, стали часто встречаться. Никто из них не казался знающим свои планы на будущее: Кесслер добился небольшого успеха в иллюстрировании детских книжек, Лейла Дэвис работала в ювелирном магазине в Гринвич-Виллидже. Их образование не только вооружило их замечательными умениями в дизайне, но и в некотором смысле сбило с толку: как еще воспринимать искусство, если не как способ заработка? Энди не особо видел разницу между своими рекламными и художественными рисунками; окружающие говорили, что ему не следует разбрасываться своим талантом и надо больше рисовать. Какая-то критика донеслась даже до друзей, оставшихся в Питтсбурге. Бетти Эш прокомментировала: «Наверное, это частично разочаровывало: ну уж если Энди стал работать обычным рекламщиком, а значит просто продался, тогда он не лучше всех нас?»
«Произнесено было слово „проституция“», – вспоминал его старый учитель Перри Дэвис.
Энди был прекрасно осведомлен об этом недовольстве, но, кажется, реагировал на него совсем иначе, чем рассчитывали его недоброжелатели. Встретивший его в ту пору приятель заметил: «Насколько я могу судить по своему опыту общения с людьми,
Энди был уникален тем, что, кажется, понимал: он всегда будет вызывать раздражение людей. Он знал это задолго до того, как это произошло, или даже был настроен этого добиваться».
В марте 1950 года Уорхола, Пёрлстайна, Боас и Гая выселили с мансарды на Западной двадцать первой улице. Хотя Филип и Энди и оплачивали их субаренду Франческе, арендодателю денег не доставалось. Раз Филип был на пороге женитьбы на своей девушке еще с колледжа, художнице Дороти Кантор, они с Энди разъехались. Энди всегда было трудно поддерживать близкие отношения с людьми после того, как те вступали в брак, потому что ему требовалось нераздельное внимание, но Дороти сама была подругой по Теху. На их свадьбе присутствовали несколько друзей, включая Энди, который поддерживал с Пёрлстайнами дружеские отношения еще несколько лет.
Через Лейлу Дэвис Энди организовал переезд в центр на первый этаж дома 74 по Западной 103-й улице, неподалеку от Манхэттен-авеню близ Центрального парка, в квартиру с двумя спальнями, которую арендовал танцовщик балета Виктор Райлли и заселял сменный состав из шести постояльцев одновременно. До ошарашенных обеспокоенных друзей Энди в Питтсбурге дошел слушок, что тот съехался с танцевальной труппой. Это был переходный период знакомства с богемным миром людей танца и театра. С ними