В книге, в сущности мемуарной, описываются первые десять лет жизни ребенка (1790-е гг.), проведенные в Уфе и деревнях Оренбургской губернии.
Автор воспроизводит детское восприятие, для которого все внове и все одинаково важно, события не делятся на главные и второстепенные: потому в «Детских годах» фабула практически отсутствует.
Все начинается с бессвязных, но ярких воспоминаний о младенчестве и раннем детстве — человек помнит, как его отнимали от кормилицы, помнит долгую болезнь, от которой он чуть не умер, — одно солнечное утро, когда ему стало легче, странной формы бутылку рейнвейну, висюльки сосновой смолы в новом деревянном доме и т. д. Самый частый образ — дорога: путешествия считались лекарством. (Подробное описание переездов в сотни верст — к родным, в гости и т. п. — занимает большую часть «Детских годов».) Выздоравливает Сережа после того, как ему становится особенно плохо в большом путешествии и родители, принужденные остановиться в лесу, постлали ему постель в высокой траве, где он и пролежал двенадцать часов, не в силах пошевелиться, и «вдруг точно проснулся». После болезни ребенок испытывает «чувство жалости ко всему страдающему».
С каждым воспоминанием Сережи «сливается постоянное присутствие матери», которая его выходила и любила, может быть поэтому, больше других своих детей.
Последовательные воспоминания начинаются с четырехлетнего возраста. Сережа с родителями и младшей сестрой живут в Уфе. Болезнь «довела до крайней восприимчивости» нервы мальчика. По рассказам няньки, он боится мертвецов, темноты и проч. (разнообразные страхи будут мучить его и дальше). Читать его научили так рано, что он даже не помнит об этом; книга у него была только одна, он знал ее наизусть и каждый день читал вслух сестре; так что когда сосед С. И. Аничков подарил ему «Детское чтение для сердца и разума» Новикова, мальчик, увлекшись книгами, был «точно как помешанный». Особенное впечатление произвели на него статьи, объясняющие гром, снег, метаморфозы насекомых и т. п.