Янкова в своих «Воспоминаниях бабки» так пишет о нем:
«Князь Юсупов – большой московский барин и последний екатерининский вельможа. Государыня очень его почитала. Говорят, в спальне у себя он повесил картину, где она и он писаны в виде Венеры и Аполлона. Павел после матушкиной смерти велел ему картину уничтожить. Сомневаюсь, однако, что князь послушался. А что до князевой ветрености, так причиной тому его восточная горячность и любовная комплекция. В архангельской усадьбе князя – портреты любовниц его, картин более трехсот. Женился он на племяннице государынина любимца Потемкина, но нравом был ветрен и оттого в супружестве не слишком счастлив…
Князь Николай был пригож и приятен и за простоту любим и двором, и простым людом. В Архангельском задавал он пиры, и последнее празднество по случаю коронования Николая превзошло все и совершенно поразило иностранных принцев и посланников. Богатств своих князь и сам не знал. Любил и собирал прекрасное. Коллекции его в России, полагаю, нет равных. Последние годы, наскуча миром, доживал он взаперти в своем московском доме. Когда бы не распутный нрав, сильно повредивший ему во мнении общества, он мог быть сочтен идеалом мужчины».
Немало лет князь Николай Борисович провел за границей. Свел он там знакомство со многими людьми искусства и был в переписке с ними, даже и воротясь в Россию. В Европе покупал он предметы искусства и для Эрмитажа, и для личного своего музея. От папы Пия VI он добился разрешения изготовить в Ватикане копии рафаэлевских фресок. Выполнили заказ мастера Маццани и Росси. С открытием Эрмитажа копии поместили в особый зал, с тех пор именуемый Рафаэлевой лоджией.
Находясь в Париже, князь Николай был нередко зван на вечера в Трианон и Версаль. Людовик XVI и Мария Антуанетта были с ним в дружбе. От них получил он в дар сервиз из черного севрского фарфора в цветочек, шедевр королевских мастерских, поначалу заказанный для наследника.
Что сталось с сервизом, никто в семье не знал, но в 1912 году посетили меня два француза-искусствоведа, изучавших севрский фарфор. Пришлось мне заняться розысками прадедовского сервиза. Нашел я его в чулане. Более века пылился там подарок Людовика XVI.
Князь Николай мог похвалиться дружбой и с прусским королем Фридрихом Великим, и с австрийским императором Иосифом II. Беседовал с Вольтером, Дидро, Д’Аламбером и Бомарше. Этот последний посвятил ему оду. Что до фернейца, тот написал Екатерине, познакомившись с князем, что совершенно очарован его умом, сколь глубоким, столь и блистательным.
«Сударь, – отвечала императрица, – сколь вы очарованы сею особой, столь и особа сия очарована вами».
Передала Екатерина и князю отзыв о нем «фернейского безумца».
В 1774 году князь был в Петербурге на бракосочетании сестры Евдокии с герцогом Курляндским Петром. Венчались в Зимнем дворце в присутствии государыни. Екатерина надеялась, что союз их пойдет на благо курляндскому герцогству, что милая, кроткая Евдокия усмирит свирепого Петра, что он женится – переменится. Не тут-то было. Герцог стал еще свирепей