Предполагаю, что нужны только вещественные решения системы.
Тогда умножим второе уравнение системы на -4; сложим с первым, получим:
![\frac{x^3}{y} -3xy-4\frac{y^3}{x} =0 \frac{x^3}{y} -3xy-4\frac{y^3}{x} =0](https://tex.z-dn.net/?f=+%5Cfrac%7Bx%5E3%7D%7By%7D+-3xy-4%5Cfrac%7By%5E3%7D%7Bx%7D+%3D0+)
приведем к общему знаменателю, затем отбросим сам знаменатель за ненадобностью, в результате имеем:
![x^4-3*x^2*y^2-4y^4=0 x^4-3*x^2*y^2-4y^4=0](https://tex.z-dn.net/?f=+x%5E4-3%2Ax%5E2%2Ay%5E2-4y%5E4%3D0+)
Делим на
, вводим замену
, получаем
![t^2-3t-4=0; t_1=4,t_2=-1 t^2-3t-4=0; t_1=4,t_2=-1](https://tex.z-dn.net/?f=+t%5E2-3t-4%3D0%3B++t_1%3D4%2Ct_2%3D-1+)
Второй корень приведет к комплексным корням, этот случай я не рассматриваю. Первый корень хороший, из него имеем
![x=\pm 2y x=\pm 2y](https://tex.z-dn.net/?f=+x%3D%5Cpm+2y+)
Для начала возьмем со то что со знаком плюс, подставим это в первое выражение системы:
![8y^2+2y^2=40 8y^2+2y^2=40](https://tex.z-dn.net/?f=+8y%5E2%2B2y%5E2%3D40+)
![y=\pm2 y=\pm2](https://tex.z-dn.net/?f=+y%3D%5Cpm2+)
тогда ![x=\pm 4 x=\pm 4](https://tex.z-dn.net/?f=+x%3D%5Cpm+4+)
Если взять знак минус, придем к каким-то комплексным решениям, я это не рассматриваю. Итого ответ: ![(-4,-2),(4,2) (-4,-2),(4,2)](https://tex.z-dn.net/?f=+%28-4%2C-2%29%2C%284%2C2%29+)