В коробке 12 шариков – 3 белых, 4 красных, 5 синих. Определить полную (среднюю)...

Среднюю информацию дает формула Шеннона:
$\displaystyle I=-\sum_{i=1}^Np_i\log_2p_i \\ \\ p_1= \frac{3}{12}= \frac{1}{4}, \ p_2= \frac{4}{12} = \frac{1}{3}, \ p_3= \frac{5}{12} \\ \\ I=-\left(\frac{1}{4} \cdot\log_2\frac{1}{4}+\frac{1}{3} \cdot\log_2\frac{1}{3}+\frac{5}{12} \cdot\log_2\frac{5}{12}\right)\approx \\ \\ -(-0.5-0.5283-0.5263)=1.5546$
Частная информация может быть найдена как величина логарифма по основанию два от частного деления общего количество шариков на количество шариков нужного цвета:
- для белого шарика ㏒₂(12/3) = 2 бита;
- для красного шарика ㏒₂(12/4) ≈ 1.5849 бита;
- для синего шарика ㏒₂(12/5) ≈ 1.2630 бита.