Решение сводится к трем идеям:
1) Интегрирование по частям
2) Из интегрирования по частям можно выразить неизвестный интеграл, поскольку он будет участвовать и в правой части. Надо будет его перенести в левую часть.
3) Вычисление неизвестного интеграла x*ln^2(x)*dx через нахождение более простого интеграла x*ln(x)*dx