Если условие правильно списано из учебника и в учебнике нет опечатки, решение следующее
Возведём в квадрат левую часть, получим
A^2 + 4*a*A + 4*a^2 = B + 4*a*18*b + 4*a^2
Так как это тождество, обязательно одновременно выполняются 2 равенства
A^2 = B
A = 18*b, то есть A^2 = 18^2*b^2( =В), поэтому
A*B = 18*b*18^2*b^2 = 18^3*b^3.
Это и всё решение. b выступает свободным параметром, то есть есть серия чисел, которые удовлетворяют поставленному условию, а именно,
b=0 A*B=0
b=+-1 A*B=18^3*(+-1)^3 = +-5832
b=+-2 A*B=18^3*(+-2)^3 = 5832*(+-8) =+-46656, и т.д.
Вот такое "некрасивое" параметрическое решение получилось. Не нравится оно мне, всё же или в учебнике опечатка или Авторы задачи её составляли, не заботясь об эстетическом наслаждении решающих, лишь бы чего написать. Увы, вот такое моё впечатление.