Преобразуем при помощи тождества
a^2+b^2 = (a+b)^2- 2ab
Тогда выражение запишется как
S = (x1/(x2+1)+x2/(x1+1))^2 - 2x1*x2/((x1+1)(x2+1)) = ((x1^2+x2^2+x1+x2)/(x1x2+x1+x2+1)) ^ 2 - 2x1x2/(x1+x2+x1x2+1) = ((x1+x2)^2-2x1x2+x1+x2)/(x1x2+x1+x2+1)) ^ 2 - 2x1x2/(x1+x2+x1x2+1)
По теореме Виета
x1+x2=-3
x1x2=1
Подставим S=(((-3)^2-2*1+(-3))/ (-3+1+1))^2 - 2*1/(-3+1+1) = 18