.////////////.....////////////
Оставлю автору задания сомнительное удовольствие перемножить скобки (если это требуется) и подставить вместо a и b корень из x и корень из y соответственно. Больше ни на что числитель и знаменатель сократить нельзя.
(a%2Bb)%7D%7Ba(a%2B3b)(a%2Bb)%7D%5Ccdot%20%5Cfrac%7B(a-b)(a%5E2%2B3ab%2B3b%5E2)%7D%7Bb(b-a)(b%2Ba)%7D%3D-%5Cfrac%7B(a-4b)(a%5E2%2B3ab%2B3b%5E2)%7D%7Ba(a%2B3b)(b%2Ba)%7D)