1739 г., прослужил он в Конторе конфискаций. Желая навсегда покинуть военную службу из-за мучивших его ран, Потемкин явился в Военную коллегию на освидетельствование. Снимая мундир, он среди членов комиссии узнал унтер-офицера, когда-то служившего у него в роте, в бытность его в капитанском чине. Обладавший своенравным характером Александр Васильевич вспылил: «Как? И он будет меня свидетельствовать! Я сего не перенесу и останусь еще в службе, сколь ни тяжки мои раны». И после того пробыл на службе еще два года.
В 1742 г. в документах Герольдмейстерской канцелярии, ведавшей учетом дворян и порядком прохождения ими службы, появилась запись о рассмотрении в Сенате прошения А.В. Потемкина об отставке, которое и было удовлетворено. Он оставил службу с повышением чина, получив звание подполковника, согласно указу царствовавшей в те времена Елизаветы Петровны, дочери Петра Великого. Отдав царю и Отечеству свои силы, молодость и здоровье, Александр Васильевич был отпущен из Москвы в свое имение с пашпортом, в нем говорилось, что «в нынешнем 1742 году октября 13 дня по Ея императорского величества указу, по смотру и по приговору правительствующего Сената маэор Александр Васильев сын Потемкин за старостию, дряхлостию и за раны от всех дел отставлен вовсе, а за службы ево дан ему ранг подполковничей…». Теперь уже никто – ни губернаторы, ни вице-губернаторы, ни воеводы – не имел права «определять к делам» отставного подполковника. Семья Потемкиных поселилась в родовом имении на Смоленщине – селе Чижеве Духовщинского уезда. Оно насчитывало около 20 дворов, где проживало примерно 200 крестьян. Располагалось село по обе стороны речки Чижевки, в нем была деревянная церковь во имя Покрова Пресвятые Богородицы при речке Славицы, построенная в 1703 г. А.В. Потемкиным вместе с неким «Смоленской шляхты ротмистром» Иваном Осиповичем Шельвичем. Храм был небольшой, с деревянной оградой, без колокольни, ее заменял отдельно стоящий навес на столбах, где помещались колокола. Именно в этой церкви был крещен младенец Григорий Потемкин, как, впрочем, и его сестры.
Чижево было скромной усадьбой без особых затей, но зато приспособленной для удобного и спокойного житья. Господский дом изрядной архитектуры возводил, возможно, малоизвестный или даже крепостной архитектор по указаниям самого барина. План дома был согласован с потребностями широкого домашнего быта, и забота об уюте пересиливала стремление к великолепию. И все строилось прочно, удобно и надолго. С высокого балкона помещичьего дома распахивалась великолепная панорама на заречные луга, поля, перелески. Дом был сооружен из очень толстых дубовых брусьев, с первым каменным этажом, где располагались кладовые. Были предусмотрены все необходимые в дворянских деревенских домах комнаты: лакейская, зала, гостиная, спальня, уборная (там одевались хозяева), столовая, детская, девичья и кабинет, сверх того было место для буфета, просторной кладовой и сеней. В деревенской глуши всегда были рады гостям, для них предназначалось несколько всегда