Гипотенуза равна √(10²+12²) = √(100+144) = √244 = 2√61.
Примем сторону квадрата за х.
Пусть tgC = 10/12 = 5/6.
Поместим треугольник вершиной А в начало координат стороной АС по оси ОХ. Уравнение диагонали квадрата: у = х, а диагонали ВС: (-5/6)х+10.
Если одна из его вершин лежит на гипотенузе, то верно равенство:
(-5/6)х + 10 = х,
-5х + 60 = 6х,
11х = 60,
х = 60/11 ≈ 5,454545.