Можно использовать то, что первое равенство имеет справа ноль))
разложить левую часть на множители...
х² - ху - 2у² = 0
х² - у² - ху - у² = 0
(х - у)(х + у) - у(х + у) = 0
(х + у)(х - 2у) = 0
получили, что
либо х = -у
либо х = 2у
теперь можно это подставить во второе уравнение системы...
у² + у² = 20 ---> у² = 10 ---> y = +-√10
4у² + у² = 20 ---> у² = 4 ---> y = +-2
Ответ: (√10; -√10), (-√10; √10), (4; 2), (-4; -2)