y''-2y+5y=0
k^2-2k+5=0
уравнение имеет комплексные корни
k1=1+2i
k2=1-2i
Общее решение.(cм. в частности Пискунов Дифференциальное и интегральное исчисление т.2) Там же есть решение подобного уравнения
y=e^x(C1cos2x+C2sin2x)
y1=e^x*cos2x y1'=e^x*cos2x-2*e^x*sin2x
y2=e^x*sin2x y2'=e^xsin2x+2e^xcos2x
Решаешь систему
С1'y1+C2'y2=0
C1'y1'+C2'y2'=cos7x
находишь С1 и С2 как функции от x.
Cумма частного решения и ощеггорешения однородного уравнения и есть окончательный ответ.