Пусть самый маленький катет равен x, тогда больший катет x+89, а гипотенуза = x+98. Из этого следует:
x² + (x+89)² = (x+98)²
x² + x² + 178x + 7921 = x²+196x+9604
x² - 18x - 1683 = 0
D = 324 + 6732 = 7056 (84)
x1 = (18 + 84) / 2 = 51 (длина меньшего катета x)
x2 = (18 - 84) / 2 = - 33 (не подходит, т.к. длина не может быть отрицательной)
Т.к. x = 51, то
51+89 = 140 (больший катет)
51 + 98 = 149 (гипотенуза)
Ответ: 51, 140, 149.
Вероятно, есть более простой вариант решения с не такими большими числами, но я уже не помню его :D