Нарисуем осевое сечение конуса, тогда вписанный шар превратится во вписанный круг, и задача из сложной и объемной станет простой и плоской.
К сожалению, я пишу с телефона, и нарисовать не могу.
Сечение - равнобедренный треугольник, боковая b=L=10, высота H=8, тогда половина основания (радиус конуса) R=6 (по т. Пифагора); D=a=12.
S=a*H/2=12*8/2=48
P=a+2b=12+2*10=32
Радиус вписанной окружности
r=2S/P=2*48/32=3