Учился в Санкт-Петербурге, сначала в Центральном училище технического рисования барона А. Л. Штиглица (1888—1891) и у Константина Крыжицкого. Затем в 1894—1897 годах учился в Академии художеств уА. И. Куинджи. Участвовал в создании объединений «Мир искусства», Союз русских художников. С 1915 года — академик живописи.В окрестностях Петербурга и в Финляндии им были созданы десятки картин и эскизов в характерной для него цветовой гамме. Кроме того, А. А. Рылов успешно работал как художник-иллюстратор и писал эссе о природе.А. А. Рылов был председателем Общества художников имени А. И. Куинджи.С 1902 года вёл «класс рисования животных» в Рисовальной школе при Обществе поощрения художеств, с 1917 года преподавал в Академии художеств (профессор с 1918 года).