Упростить не получается...
можно вычислить как есть...
здесь произведение a*b = -2/3 *(3/2) = -1
3a² = 3*(4/9) = 4/3
4b² = 4*(9/4) = 9
числитель = (4/3) + 2 - 9 = -5_2/3
----------------------------------------------
2*a² * b² - 1 = 2*(4/9)*(9/4) - 1 = 2-1 = 1
ответ в числителе: -5 целых 2/3