Во-первых, "решить" это невозможно, так как это не уравнение. Надо видимо или разложить на множители, или упростить.
С первым просто:
(a^2- b^2 - c^2 - 2bc) / (a^2 + b^2 - c^2 - 2ab) = (a^2- (b^2 + c^2 + 2bc)) / ((a^2 - 2ab + b^2) - c^2) = (a^2- (b+c)^2) / ((a-b)^2 - c^2) = (a - (b+c))(a + (b+c)) / ((a-b) - c)((a-b) + c) = (a + b +c) / (a - b + c)
Со вторым сложнее. Исходный ваш вариант, конечно, не имеет смысла - ведь он сразу сходу сокращается до 1. Если же заменить ху на zy (неважно, в числителе или знаменателе, остальные части их одинаковы), всё равно ничего красивого сходу не получается. Возможно, где-то ещё напутаны знаки?