Комбинаторная мера

К комбинаторной мере целесообразно прибегать тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов. Образование комбинаций есть одна из форм кодирования информации. Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов.

В комбинаторике рассматриваются различные виды соединения элементов.

1. Сочетания из h элементов по l различаются составом элементов. Их возможное число равно:

Q = C^l_h = h*(h-1)…(h-l+1)/l!

Например число сочетаний из трехбуквенного алфавита А, Б, В по 2 будет равно 3: АБ, АВ, БВ.

2. Перестановки h элементов различаются их порядком. Число возможных перестановок h элементов:

Q = П_h = h!

Например число перестановок букв трехбуквенного алфавита А, Б, В будет равно 6: АБВ, АВБ, БАВ, БВА, ВАБ, ВБА.

3. Размещения из h элементов по l различаются составом элементов и их порядком. Возможное число:

Q = P^l_h = h*(h-1)…(h-l+1)

Например число размещений из трехбуквенного алфавита А, Б, В по 2 будет равно 6: АБ, БА, АВ, ВА, БВ, ВБ.

При применении комбинаторной меры возможное количество информации Q заключается не в простом подсчете квантов, как в геометрическом представлении, а в определении количества осуществляемых комбинаций. Количество представляемой информации при том же количестве элементов можно существенно повысить.

Аддитивная мера (Хартли)

Определение аддитивной меры исходит из позиционной системы счисления.

Глубиной h будем называть количество различных элементов (знаков, букв) содержащемся в принятом алфавите. Глубина числа соответствует основанию системы счисления и кодирования.

Длиной l числа называется количество разрядов кода, необходимых и достаточных для представления чисел нужной величины Q.

Количество чисел, которое можно представить при глубине h и длине l составит:

Q = h^l

Например, при глубине h = 3 для трехбуквенного алфавита А, Б, В и длине l = 2 для двухразрядного кода количество чисел будет равно 9: АА, АБ, АВ, БА, ББ, БВ, ВА, ВБ, ВВ.

Вследствие показательного закона зависимости Q от l число Q не является удобной мерой для оценки информационной емкости. Поэтому Хартли ввел аддитивную двоичную логарифмическую меру, позволяющую вычислять количество информации I в двоичных единицах:

I = log₂ Q = log₂h^l = l*log₂h

Если количество разрядов (длина числа) равна единице, принята двоичная система счисления (глубина h алфавита равна двум) и используется двоичный логарифм, то потенциальное количество информации равно одному биту.

Составим таблицу, показывающую соотношение h и l при примерно одинаковом объеме Q = 1000:

l = log₂Q / log₂ h

h	1000	32	10	4	3	2	1
l	1	2	3	5	6,3	10	1000

Исследование гиперболической зависимости при минимизации произведения h * l дает в результате h = е = 2.7.. . Таким образом можно констатировать, что оптимальным основанием для системы счисления кодов является h = 3.