Россию в свите герцога Голштинского, отмечал в своём дневнике, что русский царь оказывал
Брюсу особенное расположение. Так, на свадьбе дочери И. Мусина-Пушкина в 1721 г. Пётр «сидел недалеко от входных дверей, но так, что мог видеть танцевавших, около него сидели все вельможи, но его величество большею частью разговаривал с генерал-фельдцейхмейстером Брюсом, сидевшим подле него с левой стороны». Брюс был не только верным исполнителем державных замыслов Петра, но и принимал участие в его семейных делах. Пётр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широкообразованного человека повлияют на непутёвого наследника. При дворе царевича состояла и супруга Брюса Мария Андреевна (Маргарита Мантойфель). Заметим, что под смертным приговором Алексею Брюс свою подпись не поставил.
Весной 1723 г. Пётр праздновал очередную годовщину бракосочетания с Екатериной. Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряжённых лошадьми.
В 1724 г. во время коронации Екатерины Брюс нёс перед ней императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А в следующем году Брюсу пришлось в последний раз служить своему державному другу – он был главным распорядителем на похоронах Петра I.
Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградила его орденом Александра Невского. Но увидев, как «птенцы гнезда Петрова», прежде дружно служившие русскому государству, начали враждовать, делить почести и сферы влияния при дворе Екатерины, Брюс в 1726 г. предпочёл удалиться в отставку в чине генерал-фельдмаршала. В 1727 г. он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил регулярный парк, выстроил дом с обсерваторией и безвыездно уединился в имении, занимаясь любимыми науками. Он увлёкся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав. Брюс скончался в 1735 г., немного не дожив до 66 лет. Детей у него не было.
Однако со временем в памяти народной упрочился иной образ Брюса – колдуна и чернокнижника. Повод для подобных подозрений Брюс подал ещё в молодости. В конце XVII в. в Москве была построена Сухарева башня, и москвичи с суеверным страхом стали замечать, что время от времени ночной порой в верхних окнах башни мерцал таинственно свет. Это друг царя Ф.Я. Лефорт собирал «Нептуново общество», увлекавшееся, по слухам, астрологией и магией. В общество входили ещё восемь человек и среди них – сам любознательный царь, неразлучный с ним Меншиков и Яков Брюс.
Тяготение к тайноведению у Брюса было, можно сказать, наследственным. Его предок шотландский король Роберт Брюс в XIV в. основал Орден святого Андрея, объединивший шотландских тамплиеров. По преданию, Яков Брюс после смерти Лефорта возглавил «Нептуново общество». Кроме того, на Сухаревой башне он занимался астрономическими наблюдениями. Репутация «звездочёта» и глубокие научные познания