Т.к. в условии не понятно, чему все-таки равен косинус, то напишу решение для:
cos(3pi/2 + a) = 0.
cos(2pi - pi/2 + a) = cos(a - pi/2) = cos(pi/2 - a) = sina = 0
Угол а лежит во второй четверти, где cosa < 0, sina > 0
sin(pi/3 - a) = sin(pi/3)*cosa - sina*cos(pi/3) = (sqrt3/2)*cosa = -sqrt3/2
cosa = -sqrt(1 - sin^2(a)) = -sqrt(1 - 0) = -1
Если значение косинуса другое, то вместо 0 и sina (выделено жирным) в дальнейшем подставить нужное значение.