При каких значениях a и b решением системы уравнений (a - 1) x + by = b + 1, ax + (b+1)y...

Нужно подставить вместо x и y решение системы:
$\left \{ {{(a-1)*(-1)+b*2=b+1} \atop {a*(-1)+(b+1)*2=5}} \right. \\ \left \{ {{-a+b=0} \atop {-a+2b=3}} \right.$
вычтем из одного другое:
(-a)-(-a)+b-2b=0-3
-b=-3
b=3
тогда a=b=3
при а и b равных 3