Информационный вес символа это объем информации, достаточный для однозначного кодирования одного символа некоторого алфавита.
Допустим ты хотишь закодировать 32-символьный алфавит двочиными числами, как это делают для компьютеров. Однозначно закодировать каждый символ ты сможешь 5-ти разрядным двоичным числом (00001, 00010, 00011, ..., 11111), т.к. 32 это 2 в пятой степени.
Если надо, например, закодировать 33 символа, то пяти разрядов уже не хватит (11111 - это 31), значит надо подбирать ближайшую большую к 33 степень двойки - это 64, и кодировать каждый символ 6 разрядами.