раскрываем скобки:
x^2-8y+16y^2+10x^2+8xy=11x^2+16y^2-8y+8xy
теперь подставляем:
(из под корня в квадрате, выходит это же число)
11*5+16*3-8корней из 3+8 корней из 15=55+48-8корней из 3+8корней из 15=103-8корней из 3+8 корней из 15
не уверена что верно:)