X²+2ax+2a²+4a+3=0
D=(2a)²-4 (2a²+4a+3)=4a²-8a²-16a-12=-4a²-16a-12=-4 (a²+4a+3)
Так как нас интересуют действительные корни, то D≥0
-4 (a²+4a+3)≥0
a²+4a+3≤0
D₁=4²-4*3=4
√D₁=2
a₁=(-4-2)/2=-3
a₂=(-4+2)/2=-1
a∈[-3;-1]
√D=√(-4 (a+3)(a+1))=2√(-(a+3)(a+1))
Для упрощения обозначим у=√(-(a+3)(a+1))
x₁=(-2a-2y)/2=-a-y
x₂=(-2a+2y)/2=-a+y
x₁²+x₂²=(-a-y)²+(-a+y)²=(a+y)²+(a-y)²=a²+2ay+y²+a²-2ay+y²=2 (a²+y²)=2 (a²-a²-4a-3)=-2 (4a+3)
Вадно, что чем меньше а, тем больше x₁²+x₂². Поэтому максимальное значение в точке а=-3