Составляем систему уравнений с двумя неизвестными:
Y-X=7
X*Y=-12
Из верхнего уравнения выводим Y:
Y=7+Х
Подставляем Y в нижнее уравнение и получаем:
Х*(7+Х)=-12
Открываем скобки и переносим -12 в левую часть для того что бы привести уравнение к квадратному:
Х^2+7*X+12=0
Есть методика решения квадратных уравнений через дискриминант. Если дискриминант больше нуля - то квадратное уравнение имеет два решения.
Формулы нахождения решения в ссылке ниже (там же и калькулятор)
х1=-3
х2=-4
Подставляем х1 во второе уравнение:
-3*y=-12
y1=-12/-3=4
Подставляем х2 во второе уравнение:
-4*y=-12
y2=-12/-4=3