1.
Работаем с числителем
20а² + 8аb - b² = (16a² + 8 ab) + (4a² - b²) =
= 8a(2a + b) + (2a +b) * (2a - b) = (2a + b) * (8a + 2a - b) =
= (2a + b) * (10a - b)
2.
Работаем со знаменателем
b² + 5ab + 6a² = (b² + 4ab + 4a²) + (ab + 2a²) =
= (b + 2a)² + a*(b + 2a) =
= (b + 2a) * (b + 2a + a) =
= (b + 2a) * (b + 3a)
3.
Сократив на (2a + b), получим
(10a - b) / (b + 3a)