Отец, Андрей Прохорович Крылов (1736—1778), умел читать и писать, но «наукам не учился», служил в драгунском полку, в 1772 году отличился при защите Яицкого городка от пугачёвцев, затем был председателем магистрата в Твери. Умер в капитанском звании в бедности. Мать, Мария Алексеевна (1750—1788) после смерти мужа осталась вдовой.