cos(x) не равен (-12/13) - это понятно. Нашли, что sinx = 5/13, посчитали косинус этого ж угла, он равен cosx = +- 12/13 в зависимости от угла, угол х - острый cosx = 12/13, тупой - cosx = - 12/13. Получаем, что при x = п - arcsin... косинус равен (-12/13), значит, это точка исключается. Обычно в таких заданиях обязательно одна из двух точек убирается в силу ограничения.