См. рисунок в приложении.
Обозначим стороны прямоугольника
MK=CN=х
и
MC=KN=у
Тогда
S(прямоугольника)=x·y
Из подобия прямоугольных треугольников
АВС и AKM
AM:AC=MK:CB
5x=8(5-y)
5x=40-8y
x=(40-8y)/5
S=(40-8y)·y/5
S(y)=(40y-8y²)/5
Исследуем эту функцию на экстремум.
Находим производную.
S`(y)=(40-16y)/5
Приравниваем ее к нулю
40-16у=0
у=2,5- точка максимума, так как производная при переходе через эту точку меняет знак с + на -
слева от точки 2,5: S`(1)=34/5 >0
справа от точки 2,5: S`(4)=-24/5<0<br>
x=(40-8y)/5=(40-8·2,5)/5=4
Ответ. S=4·2,5=10 кв см - наибольшая площадь