В данном случае обращение к отцу ребенка, который проявляет излишнюю заботу и попечение о Иване, хотя Иван уже вырос и достаточно умный и развитый. Здесь "в обаянии" в смысле отношении к ребенку не соответственно с его возрастом и развитием, то есть к ребенку, который уже повзрослел отец относится, как к несмышленному младенцу проявляя ОБАЯНИЕ.
То есть читать можно так:
Добрый папаша! К чему в обаянии (изнеженности, баловстве, излишнем попечительстве, излишнем внимании)
Умного Ваню держать?