Рассказ написан для «Азбуки» , которую писатель выпустил в свет в 1872 году. Толстой заботился, чтобы в его «Азбуке» , как он говорил, все было «красиво, коротко, просто и, главное, ясно» .
В основе рассказа реальный случай произошедший с самим писателем во время его службы на Кавказе. В журнале «Русский вестник» Толстой познакомился с «Воспоминаниями кавказского офицера» , автором которых был полковник Ф. Ф. Торнау. Автор сообщает, при каких обстоятельствах он попал в плен к горцам, как пыталась ему помочь полюбившая его абхазская девушка Аслан Коз, почему была неудачной его первая попытка побега и как ему удалось освободиться из плена. Толстой не только познакомился с воспоминаниями Торнау, но и воспользовался ими для своего рассказа «Кавказский пленник» . Толстой относил этот рассказ к образцовым произведениям «всемирного искусства» , выражающим «чувства, доступные всем людям» .