Найдем общее решение соответствующего однородного уравнения
y``-8y`+17y=0
λ²-8λ+17=0
D=64-68=-4
λ1=(8-2i)/2=4-i U λ2=4+i
Y=e^4x*(C1cos x+C2sinx)
частное решение следует искать в виде
y=ae^2x
y`=2ae^2x
y``=4ae^2x
подставим вуравнение
4ae^2x-16ae^2x+17ae^2x=10e^2x
5ae^2x=10e^2x
5a=10
a=2
Составим общее решение неоднородного уравнения
Y=e^4x*(C1cosx+C2sinx)+2e^2x,C1и C2-сonst