В семье мелкопоместного дворянина Фёдора Андреевича Рылеева (1746—1814), управляющего княгини Варвары Голицыной и Анастасии Матвеевны Эссен (1758—1824). В семье Рылеевых дети постоянно умирали во младенчестве. Его мать Анастасия Матвеевна на крохотной могилке ее четвертого ребенка слезно молила Бога о еще одном ребенке. Родился сын, названный Кондратием (Коней). Отец был очень суровым человеком как по отношению к крепостным, так и по отношению к супруге. Мальчик боялся отца и часто плакал.В 1820 году женился на Наталье Михайловне Тевяшевой