В основе рассказа лежат события, произошедшие со старшим братом Льва Толстого - Сергеем. В ту пору Лев Николаевич, будучи студентом, жил в Казани вместе с братьями. Сергей Николаевич был влюблён в дочь военного начальника Л. П. Корейша и бывал у них в доме. Но после увиденного им избиения беглого солдата под руководством отца девушки, чувства влюблённого быстро охладели, и он отказался от намерения жениться.
В рассказе Толстой рисует две контрастные картины. Первая — ярка и празднична, она описывает бал у губернского предводителя, где герой рассказа влюблён в Вареньку и восхищён её отцом-полковником. Но чем роскошнее эта картина, тем гнуснее и омерзительнее предстаёт перед читателем вторая картина — сцена расправы над бежавшим солдатом. Перевоплощение нежно любящего отца и добродушного полковника в жестокого и безжалостного мучителя настолько потрясло Ивана Васильевича, героя рассказа, что чувства его к Вареньке быстро остыли.
Эта история так прочно осела в памяти Толстого, что он много лет спустя описал ее в этом рассказе. До того, как этот рассказ получил своё окончательное название, он назывался «Дочь и отец» , потом — «А вы говорите» .
Упоминаемый Толстым в рассказе «девический институт» — это Казанский Родионовский институт благородных девиц, располагавшийся тогда на окраине города. Место, где «гоняли татарина за побег» , теперь является улицей Льва Толстого.