Народився 24 листопада 1806 у с. Лисогори Борзнянського повіту (нині Южненська сільрада Ічнянського району Чернігівської обл.) в сім'ї дрібного поміщика, відставного армійського офіцера Петра Стороженка.
Козацький рід Стороженків відомий з XVII ст.; відомості про його представників є в гетьманських універсалах і документах Генеральної військової канцелярії XVIII ст. Предків письменника можна знайти серед прилуцьких полковників, ічнянських і повстинських (Лубненского полку) сотників, вони володіли чималими маєтками в Україні, зокрема на Полтавщині[2]. Пізніше Стороженки відомі як офіцери російської імператорської армії, зокрема, батько письменника — Петро Даниилович Стороженко — 18 років служив у війську, брав участь у російсько-турецьких війнах, в облозі і штурмі Хотина 1787.
Дитячі роки письменника минули в містечку Великі Будища Зінківського повіту на Полтавщині. Дані про освіту письменника дослідники подають різні. Так Арсен Іщук зазначає, що Олекса Стороженко з молодих літ навчався у військовій школі. Коли йому минуло 18 років, він пішов на військову службу і майже не жив у рідних місцях, де народився і провів свої дитячі роки[2]
Петро Хропко подає інші дані:
Спочатку хлопець одержав домашню освіту, а потім учився в шляхетному пансіоні при Слобідсько-Українській губернській гімназії в м. Харкові. З виданого О.Стороженку атестату видно, що в гімназії він вивчав російську, французьку, німецьку, латинську мови, російську словесність, загальну й російську історію, географію, і виявив «чудові», «гарні», «неабиякі» і «достатні» успіхи.
Пам'ятною для Стороженка була зустріч із молодим Миколою Гоголем. Про цю зустріч, що відбулася на Полтавщині десь у 1820-х, Стороженко розповів з багатьма цікавими подробицями у своєму есеї «Спогад».