Как я уже написал в комментариях, площадь квадрата всегда больше площади прямоугольника, если сумма сторон одинакова (как в этом случае). Утверждение довольно известное, но пользоваться им сразу не будем, а запишем полное доказательство.
После увеличения/уменьшения, стороны прямоугольника равны 5-a и 3+a. Значит площадь S=(3+a)(5-a). Представим площадь как функцию:

Данная функция - парабола, коэффициент при x² меньше нуля ⇒ ветви вниз. Нас интересует наибольшее возможное значение данной функции. Достигается оно в вершине параболы. Найдем абсциссу вершины:

собственно, это и есть ответ.
Ответ: a=1