квадрат двучлена это (x+y)^2 = x^2 + 2xy + y^2
на x^2 тут явный претендент 16a^4. значит x= +- (4a^2)
последний член 9b^6 тоже является квадратом y= +- (3b^6)
ну и явно нужно взять эти числа с разными знаками, чобы произведение было отрицательным. итого
16a^4-24a^2*b^3+9b^6 = (4а^2 - 3b^6)^2