В Ясную Поляну приехал служивший на Кавказе брат Толстого, Николай, и стал его звать туда. Толстой не сдавался на зов брата, пока крупный проигрыш в Москве не помог решению. Чтобы расплатиться, надо было сократить свои расходы до минимума — и весной 1851 года Толстой торопливо уехал из Москвы на Кавказ без определённой цели. Вскоре он решил поступить на военную службу, но явились препятствия в виде отсутствия нужных бумаг, которые трудно было добыть, и Толстой прожил около 5 месяцев в полном уединении в Пятигорске, в простой избе. Значительную часть времени он проводил на охоте, в обществе казака Епишки, прототипа одного из героев повести «Казаки» , фигурирующего там под именем Ерошки.
Осенью 1851 года Толстой, сдав в Тифлисе экзамен, поступил юнкером в 4-ую батарею 20-й артиллерийской бригады, стоявшей в казацкой станице Старогладове, на берегу Терека, под Кизляром.
На Кавказе Толстой оставался два года, участвуя во многих стычках с горцами и подвергаясь опасностями боевой кавказской жизни. Он имел права и притязания на Георгиевский крест, но не получил его. Когда в конце 1853 г вспыхнула Крымская война, Толстой перевёлся в Дунайскую армию, участвовал в сражении при Ольтенице и в осаде Силистрии, а с ноября 1854 г по конец августа 1855 г был в Севастополе.