Почему-то прочитал "Странная задача".
Всего обезьян x. 12 на вершине холма.
Восьмая часть в квадрате (x/8)^2 - в лесу. И это все обезьяны.
x^2/64 + 12 = x
Умножаем всё на 64
x^2 - 64x + 768 = 0
D/4 = 32^2 - 768 = 1024 - 768 = 256 = 16^2
x1 = 32 - 16 = 16, тогда x/8 = 2, (x/8)^2 = 4, 4 + 12 = 16 = x - подходит.
x2 = 32 + 16 = 48, тогда x/8 = 6, (x/8)^2 = 36, 36 + 12 = 48 = x - подходит.