Я тут взял небольшую привычку перед ответом давать небольшой экскурс в теорию. Так сказать, налови человеку рыбу - он ее съест и единожды будет сыт, научи его ловить рыбу - он будет сыт всю жизнь :)
Итак, теория. Что такое этот D(f)?
Во-первых, сам dom f (dom - расшифровка D, оно же известно как область определения). Что это такое и в чем соль? Технически, это некоторое множество (в нашем случае - подмножество из R), содержащее все возможные значения x в некоторой функции f(x) (отсюда dom f(!)). То есть все, что можно подставить вместо x в выражении после f(x)... и получить действительное число, а не какие-нибудь летающие неведомые штуки вроде гиперкомплексных чисел.
Отсюда определить dom f = D(f) не составит труда, для примера дана функция
f(x)=
На ноль в (заданной :) )алгебре делить нельзя, поэтому dom f включит все R кроме x=-3, т.е.:
dom f = (-inf;-3)u(-3,+inf) inf - бесконечность.
Давайте найдем dom f (или dom(f), что то же самое, можете, кстати, почитать, откуда в функциях появились эти скобочки, очень интересно :) ) в вашем конкретном случае.
1) 
Тут посмотрим. Если x=5, то выходим на деление на ноль, а в нашей алгебре такого делать нельзя. Если же x<5 то выходит подкоренное выражение меньшее нуля (т.е. что-то поставили в квадрат а получили отрицательное число) - такого тоже нельзя делать, это недопустимые значения аргумента x. Выходит, что наш x>5 (строго), и, таким образом,
dom f = (5;+inf).
2) 
Если подкоренное выражение меньше нуля, то y не попадет в R, то есть такие значения x недопустимы. Делаем так
решаем неравенство
Значит нам не подойдут все x большие чем корень из пяти либо меньше чем минус корень из пяти. А значит
dom f = [-
;]
Причем +- корень из пяти сам мы включим в область определения, так как 0 под корнем даст 0, а нулик принадлежит R.
3) 
Если я верно понял эту функцию)
Делить на ноль нельзя, а значит 6+4x=0 выйдет за область определения, т.е. мы не включим x=
Таким образом,
dom f = (-inf;-1,5)u(-1,5;+inf)
Если же ваша третья функция это
то dom f = R.
u - это значок объединения)