Раскроем все скобки получим:
ax^2-3x^2-16ax-12a^2
Вынесем за скобки x^2
x^2(a-3)-16ax-12a^2
Получили квадратное уравнение относительно x.
Составьте систему, такую, чтобы дискриминант этого квадратного уравнения была отрицательной и a-3>0. Тогда получится что квадратное уравнение не имеет корней, и старший коэффициент положительный.
Решив ее получите ответ.