С точки зрения теории кодирования существует объяснение, почему используется двоичная система (основание логарифма).

Число букв в алфавите	Число разрядов в кодовом слове	Мощность
1	60000	60000
2	16	32
3	10	30
4	8	32
…	…	…
16	4	64
…	…	…
40	3	120
60000	1	60000

Как видим, оптимальное количество букв в алфавите находится между 3 и 4. То есть, лучшей была бы троичная система, но ее труднее реализовать.

Двоичная система, так же как и четверичная – почти оптимальные. Но легче реализовать двоичную систему.

1.4. Свойства функции энтропии

Свойство 1. Энтропия не может принимать отрицательных значений.

Доказательство

Так как всегда , то не может быть положительным, а – отрицательным.

Свойство 2. Функция при очень малом изменении вероятностей ,…, изменится очень мало.

Комментарий. На рис. 1 изображен график функции , показывающий, как меняется энтропия при изменении р от 0 до 1.

Для того чтобы представить себе характер зависимости функции от отдельных вероятностей , рассмотрим более внимательно график функции (см. рис. 2). Из этого графика видно, что при величина растет чрезвычайно быстро; поэтому в этой области сравнительно небольшому уменьшению вероятности или k) отвечает очень значительное уменьшение соответствующего слагаемого в выражении функции . Это приводит к тому, что обычно слагаемые , отвечающие очень малым значениям вероятности , вносят много меньший вклад в выражение , чем прочие члены, так что при вычислении энтропии сравнительно маловероятные исходы часто можно без большой ошибки просто опустить. Наоборот, в области между и , где функция принимает наибольшие значения, она меняется сравнительно плавно; поэтому в этой области даже довольно значительное изменение вероятностей сравнительно мало отражается на величине энтропии.

Свойство 3. Энтропия равна нулю:

,

если вероятность одного из исходов опыта равна 1, а остальные равны нулю. Т.е. энтропия равна нулю, если возможен только один исход опыта (с вероятностью равной единице).

Доказательство

Очевидно, . Для остальных вероятностей рассмотрим предел

,

т.е. , что в сумме для п вероятностей даст нуль.

Свойство 4. Всякое изменение вероятностей в сторону их выравнивания увеличивает энтропию .

Д оказательство

Энтропия исходных вероятностей равна .

Пусть >, тогда . После выравнивания и получим, ++…+.

Нам нужно доказать, что . Рассмотрим

,

где и

. Тогда , так как , что и требовалось доказать.

Свойство 5. Энтропия максимальна, когда все исходы опыта равновероятны.

Доказательство

На существует ограничение .

Найдем локальный экстремум. Для этого рассмотрим функционал