Для краткости записи я ввожу обозначения BD = h; AE = H; EC = x; ρ = 5; R = 6; b = AB = BC; a = AD; (соответственно, основание AC = 2*a); z = a/b;
Для треугольника ABD
2*ρ = h + a - b;
Для треугольника AEC
2*R = H + x - 2*a;
Эти треугольники подобны - у них равные углы, EC/AC = AD/AB; то есть
x/(2*a) = a/b = z; x = 2*a*z; 2*R = H + 2*a*z - 2*a;
Площадь ABC можно записать как h*(2*a)/2; а можно, как H*b/2;
h*(2*a)/2 = H*b/2; H = 2*h*z;
2*R = 2*h*z + 2*a*z - 2*a = 2*z*(h + a - a/z) = 2*z*(a + h - b) = 4*z*ρ;
z = R/(2*ρ);
(Примечание. На самом деле, из подобия ABD и AEC это соотношение следует сразу, поскольку радиусы вписанных окружностей относятся так же, как стороны, то есть
R/ρ = 2*a/b)
Из формулы для площади ABC
S = p*r; где p = a + b; - полупериметр ABC, r - искомый радиус вписанной окружности, h*a = (a + b)*r; r = h*a/(a + b) = h*z/(1 + z);
То есть надо найти h;
На самом деле задача уже решена, но сами вычисления можно сделать очень простыми. Поскольку z = 3/5; то - если ввести неизвестный (пока что) параметр t, то a = 3*t; b = 5*t; откуда по теореме Пифагора h = 4*t (собственно, давно понятно, что получился "египетский" треугольник, подобный 3,4,5)
ρ = (a + h - b)/2 = t*(3 + 4 - 5)/2 = t = 5;
То есть h = 20; r = 20*(3/5)/(1 + 3/5) = 15/2;