Исключить иррациональность в знаменателе - это значит избавиться от подкоренных выражений.
В данном случае достаточно знаменатель и числитель умножить одновременно на выражение V5+V3.
Произведение разности двух чисел на их сумму есть разность квадратов двух чисел, т.е. в знаменателе мы получим 5-3=2. Но зато иррациональное выражение появится в числителе