Очевидно, это не прямоугольник, а прямоугольный треугольник.
Иначе не было бы катетов и гипотенузы.
Прямоугольный треугольник, у которого гипотенуза 5, а катеты целые,
может быть только один - со сторонами 3, 4, 5.
Его периметр P = 3+4+5=12, площадь S = 3*4/2 = 6.
Радиус вписанной в него окружности r = 2S/P = 2*6/12 = 1