Сторона квадрата равна a. В данный квадрат вписан квадрат таким образом, что его вершины...

Вершины вписанного квадрата делят стороны в отношении 6:5, значит стороны равны $\frac{6}{11} a$ и $\frac{5}{11} a$ .
Из прямоугольного треугольника по теореме Пифагора находим сторону(назовём её b) вписанного квадрата: $b= \sqrt{ \frac{25+36}{121} } = \sqrt{ \frac{61}{121} }$
$S=b^{2}= (\sqrt{ \frac{61}{121} } )^{2}= \frac{61}{121}$