По формуле тригонометрии складываем первые два слагаемых, а третье раскладываем как двойной угол
2cos5x*cos 3x-соs^2 3x+ sin^2 3x-sin^2 3x-cos^2 3x=0
-cos^2 3x+2 cos 5x*cos 3x=0
соs^2 3x (2 cos 5x-cos 3x)=0
cos^2 3x = 0 2cos 5x-cos 3x=0
3x=П/2+Пn -4sin 4x*sin x=0
x= П/6+Пn/3 sin 4x*sin x=0
sin 4x=0 sin x=0
4x=Пn x=Пn
x=Пn/4