Толстой был четвёртым ребёнком в большой дворянской семье. Его мать, урождённая княжна Волконская, умерла, когда Толстому не было ещё двух лет, но рассказам членов семьи он хорошо представлял " её духовный облик ".
Когда Толстому было 13 лет, семья переехала в Казань, в дом родственницы и опекунши детей П. И. Юшковой. В 1844 году Толстой поступил в Казанский университет на отделение восточных языков философского факультета.