Про вписанную окружность - очень просто, центр вписанной окружности соединяем с вершинами, получаем 3 треугольника, у которых высоты - это радиусы в точки касания. Просто складываем площади этих треугольников (ну, типа (1/2)*r*a ), и получаем формулу S = (a + b + c)*r/2.
С описанной окружностью чуток сложнее, но не на много. Площадь равна
S = a*b*sin(C)/2; (C - угол между a и b, напротив сторона с) эта формула известная ,и получить её несложно, потому что h = b*sin(C) (h - высота к стороне а).
Нужное соотношение получается, если вспомнить теорему синусов 2*R*sin(C) = c;
Выражаем отсюда sin(C) и подставляем, получаем R = a*b*c/(4*S)