Хм, даю почти просто так баллы

Треугольник ABC, AB=BC, O - центр окружности, BD=H - высота, треугольник AOD прямоугольный, AO=R, AD=a/2 - половина основания, OD=|H-R| (если угол B острый, то OD=H-R, если тупой, то R-H; на решении это не скажется, так как |H-R|^2=|R-H|^2=(H-R)^2).

По теореме Пифагора R^2=(a/2)^2+(H-R)^2;

$\frac{a}{2}=\sqrt{R^2-(H-R)^2}=\sqrt{2HR-H^2};$

$S=\frac{aH}{2}=\sqrt{2H^3R-H^4};$

$S'=\dfrac{6H^2R-4H^3}{2\sqrt{2H^3R-H^4}};$

S'=0; $6H^2R-4H^3=0; 2H^2(3R-2H)=0;$

При H=0 получается вырожденный треугольник с нулевой площадью (это минимальное значение H), при H=2R получается вырожденный треугольник с нулевой площадью), значит, при H=3R/2 площадь будет максимальной.

Ответ: H=3R/2