обозначим угол наклона бокового ребра к основанию ß
по апофеме b посчитаешь площадь основания So и высоту H пирамиды по ф-ле
H=sinß*b
проекция b на основание b"=1/3*m=√(b^2-H^2)
половина стороны основания a/2=b"/tg60=√(b^2-H^2)/tg60
a=2*√(b^2-H^2)/√3
площадь основания So =a^2*√3/4 =(2*√(b^2-H^2)/√3 )^2*√3/4
объем пирамиды V =1/3*So*H =1/3*(2*√(b^2-H^2)/√3 )^2*√3/4 *sinß*b=
=1/3*(2*√(b^2-(sinß*b)^2)/√3 )^2*√3/4 *sinß*b
-------
объем пирамиды меняется в зависимости от sinß
sinß - меняется от 0 до 1 , рассмотри значения sinß в этом интервале
найдешь наибольший возможный объём