Заменяем sin^2x на (1-cos^2x)
5(1-cos^2x)+12 cosx=9
5-5cos^2x+12cosx-9=0
-5cos^2x+12cosx-4=0
Умножаем на (-1), чтобы было удобнее считать и заменяем cosx=t
5t^2-12t+4=0
D=144-80=64
t1=2
t2=2/5
ВКЗ
cosx=2
нет решений, т.к. 2 не принадлежит [-1;1]
cosx=2/5
х=плюс-минус*arccos2/5+2pik, k принадлежит Z