По словам художника, первоначальный замысел произведения был совершенно иным — картина должна была называться «Опять пятерка» и отображать будни будущих строителей нового социалистического общества, где не место двоечникам.
Разрабатывая содержание будущей картины, художник посещал школы, и на изменение сюжета повлиял случай, когда отличник, которого он выбрал в качестве своего натурщика, не справившись с заданием, получил двойку. Этот случай произвел на Ф. Решетникова такое сильное впечатление, что явно пошатнул его убеждения.
Теперь художник решил изобразить двоечника — очень смелое новаторское решение по тем временам, в чем-то даже гуманистическое, отходящее в сторону от основной линии партии, но не слишком, не на большое расстояние: сделать героя произведения не отличником, а двоечником.
Главное действие перенесено в левую часть полотна: там стоит несчастнейший из людей — подросток, пришедший из школы с очередной двойкой. А все остальные действующие лица картины смотрят на него: кто как, укоризненно — старшая сестра-пионерка; весело и даже с некоторой издевкой, — как младший брат-дошкольник, радующийся своему двухколесному велосипеду и еще не знающий горестей получения образования; и совсем невозможно тяжело — как мать… И он, этот несчастный человек, не в силах вынести их взоры.
Огромное горе во всем облике матери. Такое ощущение, что эта двойка — самая чудовищная трагедия женщины — и ведь всё это происходит в годы тяжелейших сталинских репрессий. Однако ни персонажей, ни автора картины действительность, происходящая за пределами их семьи, будто и не касается; у художника собственная действительность, в которой он — лауреат Сталинских премий. Очевидно, и персонажи произведений Решетникова тоже далеки от нужд и реалий своего времени. У них свое горе: ребенок — нет, не умер, не заразился неизлечимой болезнью, — он принес двойку. Кто виновник этого кошмара, кто та учительница, которая ничему не сумела научить своего ученика и поставила двойку себе как педагогу — потому что учитель сам оценивает свою работу оценками своим ученикам.
Единственный член семьи с добрым сердцем и живой душой — это собака; только она, чувствуя человеческую беду, спешит успокоить его со своими искренними собачьими ласками. По лицам всех остальных ясно: они собираются травить несчастного человека и дальше.