Ну, если посмотреть по таблице зависимости плотности воды от ее температуры, то максимальная плотность воды при температуре +4 градуса Цельсия. Понятно, что распределение температуры зимой в водоёме будет различно по глубине: у самой поверхности (т.е. у самого льда) будет нуль градусов Целься. С увеличением глубины температура будет малость увеличиваться. На самом дне будет как раз +4 градуса Цельсия.
Такая странная зависимость плотности воды от температуры с химической точки зрения объясняется наличием в воде между молекулами воды водородных связей. При снижении температуры ниже +4 градусов эти водородные связи исчезают и плотность воды уменьшается и по закону Архимеда более легкие слои воды выталкиваются на поверхность.