Подбираем один из корней наугад. Очевидно, что 1 подходит:
1 + 3 -3 - 1 == 0
Делим многочлен на (x - 1)
x^3 + 3 * x^2 -3*x - 1 | x - 1
--------
x^3 - x^2 x^2 + 4*x + 1
4 * x^2 - 3*x
4 * x^2 - 4*x
x - 1
x - 1
0
Т.о. исходное уравнение превращается в:
(x - 1) * (x^2 + 4*x + 1) = 0
Один из корней уже найден, произведение оставшихся ищем по т. Виетта, предварительно проверив, есть ли корни в принципе.
D = 16 - 4*1*1 = 12 - имеется два вещественных корня.
x1 * x2 = 1
Вспоминаем про первый найденный корень, но он равен 1, так что произведение не меняет.
Итого, произведение корней = 1