Докажите, что два равенства одновременно не выполнимы ни при каких а и b: cosa = 5cosb -...

Возведем оба равенства в квадрат и сложим. Тогда получим
$cos^2(a)+sin^2(a)=25cos^2(b)-20cos(b)+4+36cos^2(b)+36cos(b)+9 \\ 1=61cos^2(b)+16cos(b)+13 \\ 61cos^2(b)+16cos(b)+12=0 \\ D=16^2-4*61*12\ \textless \ 0 \\$
Нет корней.
Доказано