Чрезвычайным посланником и полномочным министром Российского Двора в Лондоне. От такого горя, которое с ним произошло, он «опасно заболел» и несколько месяцев не мог отбыть к новому месту службы. К тому же на его плечи легла забота о своих малолетних детях. Вот как он пишет в своих воспоминаниях «…эта болезнь произвела перемену в моём характере и в моих физических силах: моя живость исчезла, и тело моё с тех пор не может переносить ни зноя, ни холода».
С помощью своего приехавшего тестя адмирала Синявина они наняли новых нянек для детей. Он так же просил доктора Коха найти ему в Страсбурге секретаря лет 30, честного с мягким характером. Этому человеку Воронцов решил назначить 60 фунтов стерлингов год с бесплатным проживанием и столом. Если в период работы тот покажет хороший характер, то его Семён Романович оставит гувернёром при Мишеньки с пожизненной пенсией.
В марте 1785 года к нему в Пизу приехали кузены Василий Николаевич Зиновьев и Илларион Иванович Воронцов. Первый через 4 дня уехал в Рим, а второй в Вену. У нанятой для Миши няни в середине марта внезапно появилась «лихорадка с бредом» которая продолжалась 3 дня. Пришедший доктор дал снадобье и сказал, что ничего опасного нет «меня беспокоит это из-за Миши, который так привык и так привязан к этой женщине, без которой он вряд ли может обойтись. Я со всем домом то и дело развлекал и отвлекал его эти дни»2. Он боялся остаться в Италии из-за детей, так как при его болезни и возможной кончине никто не позаботится о них, а в Лондоне есть знакомый советник при дворе Георгий Дмитриевич Моцениго. Потом приехал тесть Алексей Наумович и помог зафрахтовать греческое транспортное судно и всё семейство поздней весной следующего года отбыло в Лондон. Семён Воронцов с сыном, дочерью и обслугой прибыли в порт в конце мая 1785 года, сняли дом и занялись его благоустройством. В сентябре Воронцов был вынужден был отпустить кормилицу Машу в Россию, которая ухаживала за маленькой Катенькой. У неё умер отец «она служила моей жене Екатерине Алексеевне с большим рвением, и я назначил ей пенсию 50 рублей в год». Он предлагает Марии Алексеевне, сестре своей покойной жены деньги приходящие на его счёт в банке за полученные в боях ордена, вложить на хранение с процентами как приданное своей маленькой дочери «…я намерен все это увеличить в приданое моей Катиньки, которое я желаю дать в дополнение к земля его матери моей дорогой Екатерины Алексеевны, земли усадьбы Ceмёновское: потому что я не хочу не то чтобы у нее ничего не было от отца. Когда невеста бедная, ей трудно найти суженного, сейчас обычно выходят замуж очень поздно и обычно не всегда относилось к жениху так хорошо, что, если она будет богатой. Мишенька не останется беден у него на 150 крестьян меньше, а у моей маленькой Катиньки будет 300 и двадцать тысяч рублей наличными»3. Из этих слов можно сделать вывод, что Семён Романович с самого начала больше всего беспокоился о своих детях, а не о себе.
В сентябре