Обозначим длину стороны прямоугольника на стороне 6 см за х.
Тогда часть стороны треугольника в 10 см за пределами стороны прямоугольника равна х*(10/6) = х*(5*3).
Отсюда сторона прямоугольника равна 10 - х*(5/3).
Площадь прямоугольника S = x*(10 - х*(5/3)) = 10x - (5/3)*x².
Производная этой функции равна:
S' = 10 - 2x*(5/3).
Приравняем нулю для определения экстремума.
10 - 2x*(5/3) = 0.
30 = 10х,
х = 30/10 = 3 см.
Вторая сторона прямоугольника равна 10 - 3*(5/3) = (30 - 15)/3 = ( 15/3) см.
Площадь равна: S = 3*(15/3) = 15 см².