15 августа 1760 года Яков Петрович становится генерал-прокурором Сената и одновременно конференц-министром. Узнав о назначении на новую должность, он воскликнул: «В оном чину наиглавнейших злодеев иметь буду». И он не ошибся. За непродолжительную (менее полутора лет) службу на этом посту честный, бескорыстный и неподкупный прокурор, пользовавшийся репутацией «строгого законника» и пристально следивший за тем, чтобы в государственных учреждениях все «чинилось порядочно и по указам», имел немало острых стычек с приближенными к императрице сановниками.
Программой действий для генерал-прокурора стал указ Елизаветы Петровны от 16 августа 1760 года, в котором она поручала Сенату содействовать ей в восстановлении в государстве «надлежащего порядка, правосудия, благосостояния и обильного добра». Более близкое знакомство генерал-прокурора Я. П. Шаховского с судебными местами убедило его в том, что они погрязли в злоупотреблениях. Он писал: «Несытая алчба корысти дошла до того, что некоторые места, учрежденные для правосудия, сделались торжищем лихоимства, пристрастие — предводительством судей, а потворство и упущение — ободрением беззакония».
Шаховской всегда стремился отстаивать законность и справедливость, хотя и давалось ему это с большим трудом. Он признавался, что чувствовал себя путешественником, который с «надлежащей большой дороги загнан в болото, наполненное тиною и трясиною, из коего не дорогами, но наудачу, то по колено, то глубже увязая, потеряв силы и отчаясь на твердый берег выйти, близко погибель свою ощущает».
Несмотря на невероятные козни, чинимые приближенными к императрице вельможами, вопреки их злобным проискам, он во всех делах оставался честным и неподкупным. Именно по этой причине императрица Елизавета Петровна ценила его, была милостиво расположена к своему генерал-прокурору, лично принимала доклады и часто вставала на его сторону.
25 декабря 1761 года новый император Петр III отправил Я. П. Шаховского в отставку и некоторое время он «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом, и на Российском престоле оказалась Екатерина II. Она вновь призвала Шаховского на службу, назначив его Сенатором. В день своей коронации императрица пожаловала ему орден Св. Андрея Первозванного.
Яков Петрович часто сопровождал молодую императрицу в ее поездках по России, причем нередко сидя с ней в одном экипаже. В пути он много говорил ей о деяниях Петра Великого и проведенных им преобразованиях. В одной из таких поездок он как-то вспомнил, что по замыслу Петра I один из Сенаторов должен каждый год объезжать губернии и ревизовать производящиеся там дела, вскрывать злоупотребления и лихоимство. Эта идея понравилась Екатерине II. Тогда Шаховской тут же вызвался лично провести такую проверку в городах, которые они проезжали. И он осуществил свое намерение в Ярославле, Ростове и Переславле-Залесском, чем привел в трепет местные власти.
1 апреля 1766 года действительный тайный советник и Сенатор Я. П. Шаховской по состоянию здоровья вышел в отставку. Он поселился в Москве, а летнее время проводил в своей подмосковной деревне. Вставал по обыкновению в шесть часов утра и выходил в сад, за которым сам ухаживал. Изредка встречался со своими друзьями. Привыкший к напряженной работе, Яков Петрович и на отдыхе не мог сидеть без дела. Вскоре он принялся за написание воспоминаний о своей бурной, насыщенной яркими событиями жизни, которые озаглавил так: «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Св. Синода, генерал-прокурора и конференц-министра в царствование Елизаветы и Сенатора при Екатерине II». Они впервые были опубликованы в Москве в 1810 году.
Яков Петрович был женат дважды. Первой его женой была княжна Александра Алексеевна Путятина, второй — Евдокия Егоровна Лопухина (урожденная Фаминцына). От этих браков он имел четверых детей.
Князь Я. П. Шаховской умер 23 июля 1777 года и погребен в малой соборной церкви Донского монастыря.
Александр Иванович Глебов родился в 1722 году. В 15-летнем возрасте он был определен сержантом в Бутырский пехотный полк, в составе которого участвовал в русско-турецкой войне и штурмовал крепость Очаков. 17 августа 1739 года в сражении под Славучанами в чине поручика командовал небольшим отрядом, проявив незаурядную храбрость и смекалку. В этом бою получил тяжелое ранение.
А. И. Глебов находился на военной службе до 1749 года, после чего перешел на статскую в чине коллежского асессора. Он сумел завоевать доверие важного елизаветинского сановника графа П. И. Шувалова, который взял его под свое покровительство. Сам Глебов так писал об этом периоде своей жизни: «Десять лет назад по желанию графа Петра Ивановича Шувалова был определен в Сенат обер-секретарем. Он поручал мне делать по своим мыслям разные сочинения и определил меня в места разные сверх должности моей, яко то: членом в главную межевую канцелярию и в комиссию уложенную; потом, увидев мою к себе совершенную преданность и повиновение, с благодарностью делал мне многие поверенности».
