3. 3. Передача информации

Ещё раз вернёмся к общей схеме передачи информации, рассматривая реальные сообщения как некоторые опыты с соответствующими таблицами распределения вероятностей в них отдельных букв или сочетания букв.

В частности, если х и х' - переданное и искажённое сообщения соответственно, то определим количество информации I(x' , x) - выхода канала относительно его входа как:

I(x' , x) = Н(х) - Н_{х '} (х) ,

где Н(х), Н(х') энтропии сообщений х и х' соответственно.

Значение

C = max I(x' , x)

х

называется пропускной способностью канала, т.е. она характеризует максимальное количество информации, которое может быть передано через канал за один такт времени. А в самом деле, пропускная способность канала является верхней границей скорости R надёжной передачи информации, причём к этой границе можно подойти сколь угодно близко.

Теорема 1.(о кодировании). Для любого числа R, меньшего пропускной способности С канала, и любого 0 существует способ блоковой передачи со скоростью, не меньшей R, и вероятностью ошибки Р(е), не превосходящей .

В то же время всякий способ передачи информации со скоростью, большей пропускной способности, приводит к тому, что вероятность ошибки будет больше некоторой фиксированной величины.

Теорема 2.(обращение теоремы кодирования). Если величина R превосходит пропускную способность канала С, то найдётся константа ₀ (зависящая от R и C) такая, что при любом способе блоковой передачи информации со скоростью, не меньшей R, выполнено неравенство

Р(е) ₀.

Обозначим через I(a _i) количество информации, содержащееся в символе a _i и определим его как:

I( a _i ) = - log₂ P(a _i) ,

где P(a _i) - вероятность появления символа a _i в самом тексте сообщения.

Если же текст сообщений записан на некотором естественном языке

( а его можно рассматривать как естественный код, обнаруживающий и исправляющий ошибки ), то каждая буква этого языка имеет свою частоту встречаемости в тексте ( так, например, в русском языке буквы о , е , ё гораздо чаще встречаются ( Р_о = 0.09 , Р_е,ё = 0.07) , чем буквы э и ф ( Р_э= 0.003, Р_ф = 0.002 )) и поэтому неопределённость H_L естественного языка определяется как _m

H_L= -  P( a _i ) log₂ P( a _i ) ,

^{i = 1}

а избыточность С_L соответственно как

С_L= 1 - H_L/ log₂ m ,

где m - количество букв естественного языка.

Очевидно, что 0 ≤ С_L ≤ 1, следовательно, при оптимальном кодировании часть текста можно без ущерба для понимания опустить.

Так, например, С_L= 0.5 для литературного английского языка, а избыточность других языков несколько меньше.

Отметим, что избыточность языка не является недостатком, а скорее преимуществом, так как, например, если С_L= 50% , то это означает что по половине искажённого текста можно восстановить весь текст.

3.3.1. Определить пропускную способность ДСК.

3.3.2. Найти I(x' , x) для ДСК.

3.3.3. Определить избыточность и неопределённость русского языка.

3.3.4. Определить количество информации букв английского языка.

3.3.5. Доказать теоремы Шеннона для блочных кодов.

3.3.6. Восстановить текст:

а) С??зд ц?ли??м ? п?лн???ью од??ри? м??опр??т?я ц? пар??? ?о ??рьб? ? ?а?о?ом;

б) ?об?ка ?ае? ка?ав?н ???ает.

ОГЛАВЛЕНИЕ

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1. Алфавит дискретных устройств . Конечные поля . . . . . . . . . . 4

1.1. Простое поле Галуа GF(P) . . . . . . . . . . . . . . . . . . . . . 4

1.2. Составное поле Галуа GF(Pⁿ) . . . . . . . . . . . . . . . . . . . 6

2. Кодирование информации . . . . . . . . . . . . . . . . . . . . . . .9

2.1. Основные понятия . Примеры кодов . . . . . . . . . . . . . . . 9

2.2. Линейные коды . Способы их задания . . . . . . . . . . . . 15

2.3. Свойства линейного кода . Коды Хэмминга . . . . . . . . . . 22

2.4. Циклические коды . . . . . . . . . . . . . . . . . . . . . . . . 27

2.5. Коды БЧХ , исправляющие две ошибки . . . . . . . . . . . . .32

2.6. Нелинейные коды . Коды Адамара . . . . . . . . . . . . . . . .36

2.7. Границы мощности кодов . . . . . . . . . . . . . . . . . . . . 40

3. Информация и неопределённость . . . . . . . . . . . . . . . . . . 44

3.1. Количественная мера неопределённости . . . . . . . . . . . .45

3.2. Условная неопределённость . Количество информации . . . . .47

3.3. Передача информации . . . . . . . . . . . . . . . . . . . . . .50

Осипян Валерий Осипович

ЭЛЕМЕНТЫ ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ

Редактор Т.В.Шилова

Технический редактор И.А. Зиновская

Корректор М.Е. Шулепова

ЛР № 200378 от 22.01.97

Подписано в печать 29.01.97.

Формат 6084¹/16. Бумага тип. № 3.

Печать трафаретная. Усл. печ. л. 2,75.

Уч.-изд. л. 2,7. Тираж 300 экз. Заказ №

Кубанский государственный университет

350040 г. Краснодар, ул. Ставропольская, 149.

Тип. КубГУ, ул. Октябрьская, 25.