Наверное, вот так.
cosA=5/5√2=1/√2, уголА=45°. Если вписать квадрат,то слева и справа получатся равные прямоугольные равнобедренные треугольники, один катет равен
(10-a)/2, другой а (сторона квадрата).
Тогда (10-a)/2= а, а=10/3.
Ответ: сторона квадрата 3 1/3 см.