Я думаю, нужно решать так
Пусть х*х-6х+8=у
Тогда
у-7+10/у=0 или у*у-7у+10=0, то есть
у=2, у=5, значит
х*х-6х+8=2, то есть х*х-6х+6=0
х*х-6х+8=5 х*х-6х+3=0
По теореме Виета произведение 4 корней исходного уравнения равно 6*3=18, что при делении на 5 даёт остаток 3.
Ну, где-то так. Арифметику проверь, мог сделать описку.