Во-первых, эти два примера - одинаковые.
Вы просто поменяли а на х и cos a = -1/√3 = -√3/3
Отсюда cos^2 a = 1/3
Во-вторых, есть такое выражение для произведения синусов
sin x*sin x = 1/2*(cos(x-y) - cos(x+y))
Подставляем
cos 8a + cos 6a + 2sin 5a*sin 3a = cos 8a+cos 6a+2/2(cos 2a-cos 8a) =
= cos 8a + cos 6a + cos 2a - cos 8a = cos 2a + cos 6a
Еще есть выражение для косинуса тройного аргумента
cos 3x = cos(x+2x) = cos x*cos 2x - sin x*sin 2x =
= cos x*cos 2x - sin x*2sin x*cos x = cos x*(2cos^2 x - 1 - 2sin^2 x) =
= cos x*(2cos^2 x - 1 - 2 + 2cos^2 x) = cos x*(4cos^2 x - 3)
Подставляем
cos 2a + cos 6a = cos 2a + cos 2a*(4cos^2 (2a) - 3) =
= cos 2a*(4cos^2 (2a) - 2) = 2cos 2a*(2cos^2 2a - 1) =
= 2*(2cos^2 a - 1)(2(2cos^2 a - 1)^2 - 1) =
= 2*(2/3 - 1)(2*(2/3 - 1)^2 - 1) = 2(-1/3)(2*(1/3)^2 - 1) =
= 2(-1/3)(2*1/9 - 1) = 2(-1/3)(-7/9) = 14/27