Нужно разделить столбиком многочлен на многочлен в остатке останется и нужно приравнять коэффициэнты при х и отдельно свободный член .Получим а+12=30 решаем а=18 ,а в=18
(5х^4+20x^3+11x^2+ax+b):(5x^2+10x+6)=x^2+2x+3
5x^4+10x^3+6x^2
----------------------
вычитаем
--------------------
10x^3+5x^2+ax
10x^3+20x^2+12x
-----------------------------
вычитаем
-------------------------
-15x^2+(a-12)x+b
15x^2+30x+18
--------------------------------------
a-12=30 a-42 b=18 b и все но в вычитаниях проверь