Объясните как возвести в квадрат √2-1. Должно получиться 3-2√3

Ну, 3-2 $\sqrt{3}$ у Вас никак не получится, это не возможно. Там будет корень из 2)
Итак, чтобы возвести √2-1 в квадрат, надо помнить формулу $(a-b)^{2}=a^{2}-2ab+b^{2}$ . В данном случае а=√2, b=1. Таким образом,

$( \sqrt{2} -1)^{2}= (\sqrt{2})^{2}-2*1* \sqrt{2}+1^{1} = 2-2 \sqrt{2}+1=3-2 \sqrt{2}$