Функция
непрерывно дифференцируема на всей действительной плоскости, поэтому все её экстремумы находятся среди стационарных точек функции. Ищем их:
.
Решая эту систему, находим единственную стационарную точку:
Чтобы определить тип стационарной точки составим матрицу вторых производных:
.
Эта матрица, согласно критерию Сильвестра, отрицательно определённая (так как её верхний левый элемент отрицателен, а определитель положителен), значит в найденной точке функция достигает локального максимума.
PS: задача хоть и простая, но явно не школьная, скорее всего где-то 2-ой семестр ВУЗа, матан. Советую обращаться в другие форумы, например в dxdy.