В аргументах тригонометрических функций надо выделить полное число периодов. 52пи/3 = 17пи+пи/3; 51пи/4 = 12пи + 3пи/4.
у котангенса период пи, значит 17пи просто выбрасываем;
у косинуса период 2пи, значит 12пи тоже выбрасываем;
произведем подсчет котан(пи/3) = 1/корень(3):
косинус (3пи/4) = - 1/корень(2);
теперь подставляем в условие; всех под общий корень
итак -корень(150/(2*3)) = - корень(25) = -5