Начнём всё по порядку. Так как треугольник описан возле окружности, то окружность вписана в треугольник. Треугольник правильный, мы знаем его формулу.
r = √3 * a / 6
r = √3 * 5/3
Радиус окружности известен, найдем сторону квадрата
R = b√2/2
5√3/3 = b√2/2
10√3/3 = b√2
b = 10√3/3√2