Надо будети поочередно решать две системы
x^3+y^3=65
x^2y+xy^2=20
(x+y)(x^2-xy+y^2)=65
xy(x+y)=20
(x+y)((x+y)^2-3xy)=65
x+y=m
xy=n
mn=20
m(m^2-3n)=65
n=20/m
m(m^2-60/m)=65
m*(m^3-60)/m=65
m^3=125
m=5
n=4
x+y=5
xy=4
x=5-y
y(5-y)=4
y^2-5y+4=0
y12=(5+-корень(25-16))/2=(5+-3)/2=4 1
x12=1 4
x=1 y=4
y=1 x=4