По сюжету повести главный герой оказывается в доме деда после смерти отца. Алеше сразу не понравился этот суровый старик, всю жизнь думающий только о том, как бы скопить больше денег.
Основным занятием деда была торговля. У него было трое детей – дочь и два сына. Дядья Алеши постоянно ссорились из-за наследства отца. Мужчины не желали, чтобы лишняя копейка отошла к их сестре. Даже суровый дед опасался того, что сыновья могут убить Варвару.
Главный герой попал в дом Каширина тогда, когда семья еще была зажиточной. Дела деда шли неплохо, он был доволен существующим положением дел. В то время Алеша видел его как складного и аккуратного человека (несмотря на заплатки на штанах, он казался одетым красивее и опрятнее, чем сыновья). Деду было неприятно поведение сыновей, способных на многое в погоне за материальными благами. Алеша нравился Каширину, но это не спасало мальчика от жестоких побоев. Дед хлестал внука за малейшую провинность. Он описывается как очень вспыльчивый и безрассудный человек. Иногда Каширин бил Алешу так, что мальчик терял сознание. Бабушка вступалась за внука, но дед не терпел неповиновения. Он не понимал, что калечит не только тело, но и душу Алеши.
Однажды Каширин рассказал главному герою историю своей жизни. Алеша узнал, что в молодости дед был бурлаком. Внук был впечатлен тем, какое это трудное занятие – тянуть баржи, истекая кровью и потом. Каширин отметил, что прошел по Волге тысячи верст. Единственной отрадой для него было пение. На отдыхе все труженики затягивали бурлацкую песню. В такие моменты деду казалось, что даже Волга ускоряла свой ход.
Семья Кашириных становилась все беднее. В конце произведения автор описывает деда как дряхлого больного человека. И бабушке, и Алеше приходилось просить милостыню, чтобы не умереть от голода. Судьба сыграла с дедом злую шутку: он всю жизнь собирал копейку к копейке, но в итоге оказался практически нищим. Каширин очень изменился. Он стал суетливым, еще более нервным, недоверчивым. Нужда угнетала его. Дед отдалился от бабушки, считая ее обузой, лишним ртом. Даже масло для лампадки перед иконой они стали покупать по отдельности.
Судьба уготовила Алеше еще одно испытание. Умерла его мать. Дед поступил невероятно жестоко, сказав мальчику, что ему больше не место в доме Кашириных. Так и отправился Алеша в люди.
Жизнь деда, несомненно, была сложной. Ему пришлось познать бедность. Однако я не считаю это поводом для того, чтобы ссориться с сыновьями, расходиться с женой и прогонять внука. Каширин сам виноват в том, что под конец жизни оказался одиноким несчастным человеком.