Во-первых, область определения: x, y =/= 0
Во-вторых, заметим, что

при любых x и y одного знака.
Причем сумма равна 2 при x = y и больше 2 при x =/= y
И

при любых x и у разных знаков.
Причем сумма равна -2 при x = -y и меньше -2 при x =/= -y
Поэтому, если -2 < a < 2, то сразу ясно, что решений нет.
Теперь решаем систему для a <= -2 U a >= 2.
2 уравнение приводим к знаменателю xy
2 уравнение подставляем в 1
В 1 уравнении делаем замену
Мы взяли под корнем |a| и |xy|, потому что, если х и у разных знаков, то a < 0, xy < 0, a*xy > 0,

определен, но

не определен.
t^2 + 2√|a|*t + |a| - |a| - 1 = 0
(t + √|a|)^2 = |a| + 1
t1 = √|xy| = -√|a| - √(|a| + 1)
Решений нет, потому что корень арифметический, то есть неотрицательный, а справа число отрицательное.
t2 = √|xy| = -√|a| + √(|a| + 1) = √(|a| + 1) - √|a|
Это решение, потому что справа число положительное при любом а.
Получается система
Умножаем 1 уравнение на 2
Складываем уравнения
Теперь получили такую систему:
По теореме Виета х и у являются корнями квадратного уравнения
z^2 - (x+y)*z + |xy| = 0
Подставив вместо (x+y) и |xy| выражения через а, мы решим квадратное уравнение и, таким образом, решим начальную систему.
Интересно, есть ли способ проще?