В правильной призме сторона равна радиусу описанной окружности. Получаем проекцию диагонали на основание 2a и по теореме Пифагора: высота h=корень(b^2-4*a^2). Объем равен h*s, где s=a^2 умножить на 3 корня из 3х, разделить на 2.
Далее подставить h и s в формулу объема.