Скалярное произведение векторов равно произведению их длин и косинуса угла между векторами. Угол между векторами от 0 до 180 градусов.
(a−b)^2+(a+2b)^2=20 - раскроим скобки по правилу действий с числами.
(***) a²-2ab+b²+a²+4ab+4b²=20, а²=1, b²=4 (квадрат вектора равен квадрату его длины)
произведение векторов a*b=IaI*IbI*cosα, a*b=1*2*cosα
подставляем в равенство (***)
1-4cosα+4+1+8cosα+16=20
4cosα=-2
cosα=-1/2, т.к. cosα<0, то α>90⁰
α=180-60=120