Cos²x + sin2x - 3sin²x = 0,
cos²x + 2sinxcosx - 3sin²x = 0,
cosx не равен 0, тогда
1 + 2sinx/cosx - 3(sinx/cosx)² = 0,
1 + 2tgx - 3tg²x = 0 - квадратное уравнение относительно tgx.
tgx = 1 или tgx = -1/3.
[x = π/4 + πn, n ∈ ℤ;
[x = -arctg(1/3) + πk, k ∈ ℤ.