Детство провёл в имении Разумовского на Украине, получил хорошее домашнее образование, окончил Московский университет, перевёл на немецкий язык «Бедную Лизу» Н. М. Карамзина (1807), благодаря Разумовским смог лично познакомиться с Карамзиным и его московским окружением (П. А. Вяземским и В. А. Жуковским, приятельствовавшим с братом Перовского Василием) и получил в этом кругу репутацию шутника и мистификатора. Однако отец, бывший влиятельным масоном, не позволил своему бастарду самому вступить в ложу, вопреки желанию молодого Алексея. В 1809-1810 служил в провинции в ревизорской комиссии, а в 1812 ушёл добровольцем в действующую армию, на сей раз вопреки воле отца.