Стороны квадрата "отрезают" от исходного треугольника два прямоугольных треугольника, подобных ему. Можно взять любой из них, и из пропорций, следующих из подобия, определить сторону квадрата.
Если обозначить сторону квадрата а, то стороны одного из "отрезанных" треугольеников 3 - x и x, а соответствующие стороны исходного треугольника 3 и 5, поэтому
(3 - x)/x = 3/5; 15 - 5*x = 3*x; x = 15/8; ну, а периметр квадрата 4*х = 15/2;
В общем случае, если катеты a и b, то P = 4*a*b/(a + b); это выражение симметрично относительно а и b, поэтому ответ в задаче, конечно же, не зависит от того, какой из двух "отрезанных" треугольников использовать. :)