Был внебрачным сыном А. К. Разумовского (см. Перовские).
Детство провёл в почепском имении Разумовского, получил хорошее домашнее образование. Затем учился в Московском университете (1805—1807), получив по окончании его степень доктора философских и словесных наук. Перевёл на немецкий язык «Бедную Лизу» Николая Карамзина (1807), благодаря Разумовским смог лично познакомиться с Карамзиным и его московским окружением (Петром Вяземским и Василием Жуковским) и получил в этом кругу репутацию шутника и мистификатора. Однако отец, бывший влиятельным масоном, не позволил своему бастарду самому вступить в ложу, вопреки желанию молодого Алексея.