На самом деле все очень просто. увы , я не знаю,как здесь делать рисунок,поэтому обьясню на пальцах,если получится.
в чем соль? рисуешь плоскость сферы параллельной квадрату.у нас получается окружность с одной хордой.расстояние от концов хорды до центра по 5 .а высота проведенная из центра к хорде равна 4.. получается равнобедренный треугольник с высотой.откуда находим что половина стороны равна 3 а вся сторона равна 6