Можно решать и не выписывая в явном виде все через первый член и q.
Пусть числа a,b,c.
a^2+b^2+c^2=2604
a+b+c=62
Известно, что для геом прогрессии b^2 = ac
Возведем в квадрат второе уравнение.
a^2+b^2+c^2+2(ab+ac+bc)=3844
ab+ac+bc=620
b(a+c)+ac=620
b(62-b)+b^2=620
62b=620
b=10
Для определения оставшихся чисел можно решить систему
a+c=62-b=52
ac=b^2=100
По т.Виета a,c - корни квадратного уравнения t^2-52t+100=0. Отсюда a,c = 2, 50.
Ответ: 2, 10, 50.