Вычисляем произведение цифр тех чисел, которые записаны слева и справа от скобок, полученные произведения складываем, из результата извлекаем квадратный корень, получаем число в скобках.
Первая строка: 587 (28) 789

Вторая строка: 189 (9) 911

Третья строка: 235 (?) 321

Ответ: 6