2. Установление количественной меры информации комбинаторное определение количества информации

Комбинаторное определение количества информации дано американским инженером Р. Хартли. Это определение пред- полагает модель с детерминированной связью (помехи отсут-ствуют) между дискретными состояниями двух систем без их вероятностного описания.

До получения сведений о состоянии системы имеется ап­риорная неопределенность ее состояния. Сведения позволяют снять эту неопределенность, то есть определить состояние системы. Поэтому количество информации можно определить как меру снятой неопределенности, которая растет с ростом числа состояний системы.

Количественная мера информации устанавливается сле­дующими аксиомами.

Аксиома 1. Количество информации, необходимое для снятия неопределенности состояния системы, представляет собой монотонно возрастающую функцию числа состояний системы.

В качестве количественной меры информации можно вы­брать непосредственно число состояний системы m_x, которое является единственной характеристикой множества X.

Однако такое определение не удобно с точки зрения его практического применения. Поэтому в теории информации вводится несколько иная количественная мера информации, которая является функцией т_х. Вид указанной функции по­зволяет установить аксиома 2.

Аксиома 2.Неопределенность состояния сложной системы, состоящей из двух подсистем, равна сумме неопределен­ностей подсистем.

Если для снятия неопределенности первой подсистемы необходимо количество информации, равное I(т₁), а для второй подсистемы количество информации, равное I(m₂), то для снятия неопределенности сложной системы необходи­мо количество информации, равное

I(m₁m₂) = I(m₁) + I(m₂) ,

где т₁ — число состояний первой подсистемы; т₂ — число состояний второй подсистемы; т₁ т₂—число состояний слож­ной системы.

Единственным решением полученного функционального уравнения является логарифмическая функция I(т)=К log_а т, которая определяет количество информации как логарифм числа состояний системы. Произвольный коэффициент К вы­бирается равным единице, а основание логарифма а опреде­ляет единицу измерения количества информации. В зависи­мости от значения а единицы измерения называются двоич­ными (а=2), троичными (а=3) и в общем случае а-ичными. В дальнейшем под символом log будем понимать двоичный логарифм. Двоичная единица иногда обозначается bit (от английского binary digit - двоичный знак).

Каждое передаваемое слово из п букв, записанное в ал­фавите, содержащем т букв, можно рассматривать как отдельное «укрупненное» состояние источника сообщений. Всего таких состояний (слов) будет тⁿ.

Тогда количество информации, которое несет слово из п букв, равно I=log_amⁿ=nlog_am. Отсюда следует, что одна буква несет log_am а-ичных единиц информации. Если еди­ница измерения информации а=т, то количество информа­ции в слове (I=п) измеряется количеством содержащихся в нем букв, а единица измерения информации определяется размером алфавита т. Таким образом, одна a-ичная едини­ца содержит log_am a-ичных единиц информации.