5cos^2x-2sinxcosx+sin^2x = 4
5cos^2x-2sinx*cosx+sin^2x-4(sin^2x+cos^2x)=0
5cos^2x-2sinx*cosx+sin^2x-4sin^2x-4cos^2x=0
cos^2x-2sinx*cosx-3sin^2x=0
делим на cos^2x≠0
-3tg^2x-2tg x+1=0
3tg^2x+2tg x-1=0
tgx=a
3a^2+2a-1=0
a=-1 или a=1\3
сделаем обратную замену:
tgx=-1 x=-п/4+пк
tgx=1/3 x=arctg(1/3)+пк