Докажите что не существует таких значений X и Y при которых многочлены -5x²+3xy+4y² и...

Суммируем многочлены.
$-5x^2+3xy+4y^2+6x^2-3xy-y^2= x^2+3y^2$
Мы знаем, что любое число в квадрате будем положительным. Даже если $y \ \textgreater \ x$ всё равно значения будут положительны. Значит, таких значений не существует.