Потому что 1 - √2 есть отрицательное число, а модуль - это лишь "числовая" часть числа, без знака (то есть всегда положительное).
А чтобы получить эту часть от отрицательного числа, нужно взять число ему противоположное: |-3| = 3; |-1/3| = 1/3;
|a| = -a, где a - отрицательное число;
таким образом, |1-√2| = -(1-√2) = √2-1
число 1+√2 - это число, имеющее совсем другую "числовую часть", нежели 1 - √2.
Ну а вообще, в математике существует правило раскрытия модуля: если подмодульное выражение положительно, то модуль раскрывается со знаком +, если отрицательно, то со знаком -.