Пусть длина прямоугольника x, а ширина y. Тогда его периметр 2(x + y) = 40 => x + y = 20. Его первоначальная площадь xy. После того, как длину уменьшили на 3, а ширину увеличили на 6 см, площадь стала (x - 3)(y + 6) = xy + 3 => xy + 6x - 3y - 18 = xy + 3 => 6x - 3y = 21. Т. к. y = 20 - x, то 6x - 3(20 - x) = 21 => 6x - 60 + 3x = 21 => 9x = 81 => x = 9 см. Значит y = 20 - 9 = 11 см.
Ответ: x = 9 см, y = 11 см.