Определение количества информации по к. Шеннону

Согласно комбинаторному определению количества ин­формации для установления записанного в регистр двоич­ного числа, имеющего п разрядов, требуется п двоичных единиц информации (по одной двоичной единице или по одному двоичному вопросу на выяснение содержания каждо­го разряда). Определить записанное в регистр число посред­ством задания меньшего числа вопросов, получив меньшее количество информации, невозможно, если мы об этом числе ничего, кроме того, что оно записано в регистр, не знаем. Количество необходимой информации можно, уменьшить только в том случае, если мы будем располагать некоторыми априорными сведениями о числе, в частности, о способе его записи (генерации).

Допустим, некоторое устройство вырабатывает (генери­рует) число как независимую последовательность из единиц и нулей, которые появляются соответственно с вероятностя­ми, равными p и q=1— р. В этом случае при неограничен­ном возрастании длины последовательности п с вероят­ностью, равной единице, появляются последовательности, количество единиц в которых незначительно отличается от среднего значения, равного пр. Такие последовательности на­зываются т и п и ч н ы м и. Они различаются между собой только размещением единиц, а не их количеством. Поскольку количество типичных последовательностей Q меньше общего количества последовательностей, то имеется возможность уменьшить количество информации, необходимое для опреде­ления числа.

Последовательность назовем типичной для заданного источника, если количество единиц п₁ в ней удовлетворяет неравенству

или (1)

и нетипичной в противном случае, то есть когда

. (2)

Вероятность появления нетипичной последовательности равна вероятности, с которой п₁ удовлетворяет неравен­ству (2). Для оценки этой вероятности воспользуемся нера­венством Чебышева, которое для произвольной случайной ве­личины имеющей конечную дисперсию, при каждом b>0 записывается в виде

,

где и — соответственно математическое ожидание и дис­персия случайной величины .Полaгая,(q=(1-p)) получим аналогичное нера­венство для случайного числа единиц n₁:

.

Следовательно, вероятность появления нетипичной последо­вательности

,

а вероятность появления типичной последовательности

.

Вероятность Р_HT стремится к нулю, а вероятность Р_T стре­мится к единице при любом сколь угодно малом значении и неограниченном возрастании длины последовательностип. Интервал . которому принадлежит количество еди­ниц в типичной последовательности, неограниченно увеличива­ется (), хотя относительная величина интервалa всегда меньше значения. Докажем, что одновре-менно с неограниченным увеличением длины последователь­ностип можно уменьшать значение с такой скоростью, при которой относительная величина интервала будет стре­миться к нулю, а вероятность появления типичной последова­тельности—к единице. При этом абсолютная величина интер­вала по-прежнему неограниченно возрастает. Вероятность Р_T стремится к единице, если величина неограниченно увеличивается с ростом n. Пусть , гдене­который параметр, определяющий скорость роста величины.

Oтсюда

.

Величина стремится к нулю с ростомп при . При этом абсолютная величина интервала не может быть постоянной или стремиться к нулю одновременно с неограни­ченным увеличением величины , стремлением к нулю.

Определим количество типичных последовательностей Q. Вероятность появления произвольной последовательности равна

.

В результате тождественных преобразований

I