3.4 Теорема оптимального кодирования источника независимых сообщений.

При заданном ансамбле изN независимых сообщений с энтропией возможно так закодировать сообщения ансамбля посредством последовательности символов, что среднее число символов на сообщение удовлетворяет неравенству

, (3.1)

где - основание кода. Среднее число символов на сообщениене может быть сделано меньше, чем.

Величина - количество информации, приходящееся на один символ при кодировании кодом с основаниемD.(При кодировании двоичным кодом=1)

Доказательство. Рассмотрим левую часть неравенства, составим разность и используем неравенство, где знак равенства реализуется приz= 1.

. (3.2)

Рассмотрим разность . Пусть- количество символов, употребляемых для кодирования-го сообщения,- наибольшее количество символов, употребляемых для кодирования сообщения в ансамблеX. Число кодов, содержащихсимволов, которое можно было бы создать, исходя из узла, состоящего изсимволов, равно. (Для иллюстрации этого предложения на рисунке 3.4 выделено сообщение, имеющий код 100, т. е.. Наибольшее число символовна пятом уровне. На рисунке показаны ветви, исходящие из кода 100 на третьем уровне и останавливающиеся на пятом уровне. Число неиспользуемых кодов равно.)

Сумма всех неиспользуемых кодов не превышает числа кодов, образованных разрядными кодами, т.еили

(3.3)

Неравенство (3.3) называется неравенством Крафта. Используя неравенство Крафта, из (3.1) получим

. (3.4)

Знак равенства в (3.2) достигается тогда, когда

. (3.5)

Из выражения (3.5) получим

,. (3.6)

Как видно из (3.6), чем меньше вероятность реализации события , тем больше требуется символов для кодирования этого сообщения. Число символов- величина целая, но на практике при произвольной вероятностиполучим дробную величину. Поэтому величинуокругляют до ближайшего целого числа

, (3.7)

где .

Умножим левую и правую части равенства (6) наи просуммируем полученное выражение

. (3.8)

Положим, .Тогда после соответствующих подстановок получим правую часть неравенства (3.1)

. (3.9)

Как видно из неравенства (1) среде число символов, применяемое при кодировании, зависит от метода кодирования и распределения вероятностей реализации сообщений. Теорема не отвечает на вопрос, как оптимально кодировать сообщения, она показывает границы среднего числа символов.

- шум кодирования???

Нет понятия скорости кодирования источника сообщений,

нет понятия ошибки кодирования и декодирования,

нет понятия скорости создания информации

Все это есть у Колесника (≈ Стр 36)

4 Канал связи

Под каналом связи понимается среда, в которой перемещается сигнал. В зависимости от типа сигнала каналы разделяются на непрерывные и дискретные.

Предполагается, что сигнал, передаваемый по каналу связи, дискретный как по времени, так и по своим состояниям, и сообщения, генерируемые источником, сжаты одним из методов кодирования, (хотя это не обязательно). Модель передачи информации изображена на рисунке 1.1.

Дискретный канал связи описывается ансамблем входных символов с распределением вероятностей, ансамблем выходных символов и условными вероятностями=перехода одного символа в другой. Условные вероятности составляют матрицу переходов

(4.1)

Символы, поступающие в канал связи в моменты временивыбраны из ансамбляY, т.е.. Обычно в канале связи действуют шумы, искажающие физические свойства сигналов, несущих информацию. В результате на выходе канала получают последовательность символовтаких, что. По своим свойствам канала связи классифицируется как

1) неоднородный канал с памятью - условная вероятность получить символв момент временизависит от некоторого множества символов поступивших на вход канала до момента времени. Неоднородность проявляется в том, что сохраняется зависимость условной вероятности от времени.

2) Неоднородный канал без памяти - условная вероятность не зависит от всех предыдущих символов на входе канала, но зависимость от времени остается

3) Однородный канал без памяти (стационарный канал) - условная вероятность не зависит от времени. В этом случае можно записать=.

В дальнейшем рассматривается стационарный канал.

Канал называется симметричным, если

На рисунке 4.2 представлена модель симметричного канала с основанием кода

D= 3. На рисунке 4.3 изображена модель канала со стиранием.

На практике при больших шумах часто нельзя отдать предпочтение тому или иному состоянию ансамбляZ. В этом случае в ансамбльZвносится новое состояние

. При переходе любогов состояниедолжны быть предусмотрены какие-то действия, исключающие эту ошибку: стереть полученный символ, продублировать информацию и т. д. В этом случае имеем канал со стиранием.