Функции двух переменных - это не школьные знания)))
Найдите частные производные у по х и х по у и обе приравняйте к нулю.
Если счтать х постоянной, то производная будет иметь вид 2х - 4у
Если у считать постоянной, производная будет иметь вид 2у - 6х.
Решение этой системы (0;0) - точка экстремума.