Cosa-2sin3a-cos5a/sin5a-2cos3a-sina=...

Группируем соответствующие элементы для того, чтобы раскрыть по формуле вычитания косинуса и синуса:

$= \frac{(cosA-cos5A)-2sin3A}{(sin5A-sinA)-2cos3A}$

Теперь, собственно, по формуле:

$= \frac{-2sin \frac{A+5A}{2}sin \frac{A-5A}{2} -2sin3A }{2sin \frac{5A-A}{2}cos \frac{5A+A}{2}-2cos3A}=$
$= \frac{2sin3Asin2A-2sin3A}{2sin2Acos3A-2cos3A}=$
$=\frac{2sin3A(sin2A-1)}{2cos3A(sin2A-1)} = \frac{sin3A}{cos3A} =tg3A$

Ответ: $tg3A$