1) заменим cosx=а
a^2-2*а-3=0
а1*а2=-3 а1+а2=2 а1=-1 а2=3
cosx=3 такого быть не может т.к. косинус принадлежит от [-1;1]
cosx=-1
x=+-пи+2*пи*n, n принадлежит Z
2)тут могу ошибаться, ибо получается какая-то бреденятина, либо так задумано
найдем дискриминант: 36-2*4*5=36-40=-4 такого быть не может, значит корней нету