Дмитрий Дмитриевич Гуров, моложе сорока лет, москвич, по образованию филолог, но работающий в банке, отдыхает в Ялте. В Москве остались нелюбимая жена, которой он часто изменяет, дочь двенадцати лет, два сына-гимназиста. Во внешности и характере его есть «что-то привлекательное, неуловимое, что располагало к нему женщин, манило их...». Сам он презирает женщин, считает их «низшей расой» и в то же время не может обходиться без них и постоянно ищет любовных приключений, обладая в этом большим опытом. На набережной он встречает молодую даму. Это «невысокого роста блондинка, в берете; за нею бежал белый шпиц». Отдыхающие называют ее «дамой с собачкой». Гуров решает, что неплохо бы начать с ней роман, и знакомится с ней во время обеда в городском саду. Их разговор начинается обычным образом: «Время идёт быстро, а между тем здесь такая скука! — сказала она, не глядя на него». «Это только принято говорить, что здесь скучно. Обыватель живёт у себя где-нибудь в Белеве или Жиздре — и ему не скучно, а приедет сюда: „Ах, как скучно! ах, пыль!“ Подумаешь, что он из Гренады приехал!» Она засмеялась...
Анна Сергеевна родилась в Петербурге, но приехала из города С., где живёт уже два года, будучи замужем за чиновником по фамилии фон Дидериц (дед его был немец, а сам он православный). Работа мужа ее не интересует, она даже не может вспомнить название места его службы. Судя по всему, мужа она не любит и несчастна в своей жизни. «Что-то в ней есть жалкое все-таки», — замечает Гуров. Их роман начинается через неделю после знакомства. Она переживает своё падение болезненно, считая, что Гуров первый не станет ее уважать. Он не знает, что ответить. Она пылко клянётся, что всегда хотела чистой и честной жизни, что грех ей гадок. Гуров пытается ее успокоить, развеселить, изображает страсть, которой, скорее всего, не испытывает. Их роман течёт ровно и как будто ничем не угрожает обоим. Ждут, что приедет муж. Но вместо этого он просит в письме вернуться жену. Гуров провожает ее на лошадях до станции; когда расстаются, она не плачет, но выглядит грустной и больной. Он также «растроган, грустен», испытывает «лёгкое раскаяние». После отъезда Анны Сергеевны он решает вернуться домой.
Московская жизнь захватывает Гурова. Он любит Москву, ее клубы, обеды в ресторанах, где он один «мог съесть целую порцию селянки на сковородке». Казалось бы, он забывает о ялтинском романе, но вдруг по непонятной ему причине образ Анны Сергеевны начинает его вновь волновать: «Он слышал ее дыхание, ласковый шорох ее одежды. На улице он провожал взглядом женщин, искал, нет ли похожей на нее...» В нем просыпается любовь, ему тем труднее переносить ее, что не с кем поделиться своими чувствами. Наконец Гуров решает ехать в город С. Он снимает номер в гостинице, узнает у швейцара, где живут фон Дидериц, но так как не может прямо нанести им визит, подстерегает Анну Сергеевну в театре. Там видит ее мужа, в котором есть «что-то лакейски-скромное» и который вполне отвечает провинциальной скуке и пошлости города С. Анна Сергеевна пугается встречи, умоляет Гурова уехать и обещает сама приехать к нему. Она лжёт мужу, что едет посоветоваться насчёт женской болезни, и раз в два-три месяца встречается с Гуровым в Москве в гостинице «Славянский базар».
В конце описывается их встреча — не первая и, видимо, не последняя. Она плачет. Он заказывает чай и думает: «Ну, пускай поплачет...» Затем подходит к ней и берет ее за плечи. В зеркале видит, что голова его начинает седеть, что он постарел и подурнел за последние годы. Понимает, что он и она совершили в жизни какую-то роковую ошибку, он и она не были счастливы и только теперь, когда старость близка, по-настоящему познали любовь. Они близки друг другу как муж и жена; их встреча — самое главное в их жизни.
«И казалось, что ещё немного — и решение будет найдено, и тогда начнётся новая, прекрасная жизнь; и обоим было ясно, что до конца ещё далеко-далеко и что самое сложное и трудное только ещё начинается».