Объём видеопамяти рассчитывается, как произведение ширины на высоту и на глубину цвета:
V = w*h * i, где w - ширина; h - высота; i - глубина цвета.
Чтобы найти глубину цвета необходимо знать максимальное количество цветов в рисунке (в данном случае - 6777216, я полагаю)
= M; где М - макс. кол-во цветов
После нахождения i становятся известны все переменные и остаётся только посчитать: 1024*768*i