На окраине Москвы в одном доме жила престарелая барыня в окружении многочисленной дворни. Из всех её слуг был один глухонемой дворник – Герасим. Он был мужик богатырского роста и крепкой силы. Наняли его на службу из деревни, где он трудился за четверых. Он привык к сельской жизни, работы там всегда было много, поэтому город ему сначала не понравился. Здесь житьё шло спокойно, а обязанностей у Герасима было мало.
Это доводило первое время его до тоски, он чувствовал себя зверем, которого посадили в клетку, но потихоньку он привык к городской жизни. Герасим всегда исправно исполнял обязанности, за что заслужил почет и уважение не только среди слуг, но и во всей околице. Нрав у него был серьезный и строгий, что даже петухи не дрались при нем.
Жил он себе тихо, но через год с ним случилось одно событие.
Влюбился он в прачку Татьяну. Это была женщина маленького роста, белокурая и худенькая. Когда-то её можно было назвать красавицей, но тяжёлая судьба и бесконечная работа за копейки отняли у неё красоту. Немой Герасим начал проявлять к прачке заботу и уделять внимание. То подарит ей ленту, то петушка сахарного принесет, а потом вообще взял её под своё покровительство, чтобы дворня её не обижала своими насмешками.
Но служил у старухи-барыни башмачник Капитон – горький пропойца. Чтобы наставить его на путь истинный и образумить, решила барыня его женить на Татьяне. Гаврила, её дворецкий, долго ломал голову, как всё устроить, поскольку боялся, что Герасим, узнав о таком решении, разнесет весь дом.
Сам Башмачник Капитон испугался не на шутку, узнав о женитьбе, а Татьяна приняла весть безропотно и смиренно.
Дворецкий посовещался с остальной прислугой и придумал, чтобы Татьяна притворилась пьяной, ведь Герасим не выносил пичуг. Девушку научили, что нужно делать, чтобы хитрость удалась. И действительно, когда Герасим увидел Татьяну в пьяном состоянии, он сам толкнул её в объятья Капитона. У Герасима каких-либо изменений в поведении не замечалось, только в день, когда играли свадьбу, он приехал с реки без воды, разбив бочку на дороге, да коня чистил так, что он шатался, словно былинка от ветра.
Но брак не пошёл Капитону на пользу, и через год он совсем спился, за что был отправлен в деревню вместе с женой Татьяной. Герасим на прощанье подарил ей платок, который давно купил для неё, поцеловал по-христиански и хотел, было, проводить до заставы, но повернул назад на Крымском броду.
Когда он возвращался вдоль реки, то увидел, как кто-то барахтается в воде. Он приблизился и разглядел маленького щеночка, который никак не мог выбраться из воды. Он подхватил беднягу и сунул себе за пазуху. Весь вечер Герасим в своей коморке возился со щенком, уснув только под утро, но радостным сном.
Герасим ухаживал за своей собачкой так, как ни одна мать не способна ухаживать за своим ребенком. Через восемь месяцев щеночек превратился в пушистую породистую испанскую собачонку, которая везде ходила за Герасимом. А он, поскольку не мог говорить, звал её Муму. Она была очень ласковой и умной на редкость, но любила преданно только Герасима. В дом барыни она никогда не заходила и всегда ожидала хозяина у входа на крыльце.
Там и жил бы Герасим, довольный своим бытием, если бы не один случай, который потряс всю его жизнь.
Случилось это утром. Барыня гуляла со своими приживалками по двору и увидела Муму, которая, по обыкновению, ждала Герасима. Заинтересовавшись хорошенькой собачкой, барыня велела принести её к ней в покои. Собачка дрожала всем телом, потому что никогда не видела таких покоев. По приказу барыни ей налили молока, но Муму к нему не притронулась, а когда старуха захотела её погладить, та вообще зубы оскалила.
Тогда барыня велела слугам убрать собаку из её дома, чтобы она её никогда не видела. Герасим бегал по всей Москве, разыскивая свою любимую Муму. Он так страдал, что даже не поехал утром за водой.
Но Муму к нему вернулась однажды ночью с оборванной веревкой на шее. От счастья Герасим чуть ума не лишился. Он спрятал собачку в свою коморку и выгуливал её только по ночам. Но глухонемой не знал, что Муму лает по ночам. Однажды, когда он выгуливал её ночью, она облаяла пьяницу, которого увидела на дороге. Вся дворня слышала этот лай и барыня тоже. Она приказал извести собачонку.
Её приказ был передан Герасиму. Тот знаками показал, что разберется сам. Он надел праздничный кафтан и, привязав Муму на шею веревку, вышел с ней из двора. Дворовый Брошка, которого послали присмотреть за Герасимом, сказал, что тот зашёл с Муму в трактир, заказал щи и покормил ими собаку. Только две скупых слезы скатились с глаз Герасима. Затем он нанял лодку и поплыл на середину реки вместе с Муму. Там он привязал собаке на шею два кирпича, которые нашёл на берегу и, зажмурившись, бросил её в воду. Когда же он опять открыл глаза, лодку уже унесло далеко от того места.
Герасим вернулся домой, собрал свои пожитки и пошёл назад в деревню. Шёл он два дня. Староста очень удивился, когда увидел его, но была пора сенокоса, поэтому Герасима сразу отправили работать.