РЕШЕНИЕ начнем с построения - рисунок в приложении.
Первая окружность - r=3
Вторая окружность может касаться в двух точках.
Касание внутри отрезка и тогда радиус
R = A - r = 5 - 3 = 2 см - синяя окружность.
Касание снаружи первой окружности и радиус
R = A+ r = 5 + 3 = 8 см - красная окружность.