x=1
y=1
решение сложное, но возможное, необходимо из первого уравнения выделить x+y=(5-xy)/2
а во втором уравнении икс квадрат плюс игрек квадрат представить как
(x+y)^2-2xy, тогда получится квадратное уравнение, где xy обозначим за a
a^2-24a+23=0
решая его, получим корни a=1 и a=23
a=23 не подходит, т.е. xy=1