Библиографический список

1.Полтырев Ю.Д., Колесник Г.Ш. Курс теории информации. М.: "Наука", 1982. 416 с.

2.Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов: Учебное пособие для вузов. М.:Высш.шк.,1987. 248 с.

3.Галлагер. Теория информации и надёжная связь. Пер. с англ. М.: “Советское радио”, 1974. 720 с.

4.Дмитриев В.И. Прикладная теория информации: Учеб. для студ. вузов по спец. “Автоматизированные системы обработки информации и управления”. М.: Высш. шк., 1989. 320 с.

5.Передача дискретных сообщений: Учебник для вузов/ В.П. Шувалов, Н.В. Захарченко, В.О. Шварцман и др.; Под ред. В.П. Шувалова. – М.: Радио и Связь, 1990. 464 с.

6.Питерсон Л., Уэлдон Э. Коды исправляющие ошибки: Пер. с англ. / Под ред. Р.Л. Добрушина. - М: Мир, 1978. 594 с.

7.Кодирование информации (двоичные коды). Березюк Н.Т., Андрущенко А.Г., Мощицкий С.С. и др. Харьков: ”Вища школа”,1978. 252 с.

8.Шляпоберский В.И. Элементы дискретных систем связи. М.: Воениздат, 1962. 256 с.

Оглавление

ВВЕДЕНИЕ…………………………………………………………………… .3

1 КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ ИСТОЧНИКОВ..12

1.1 Дискретный источник………………………………………………12

1.1.1 Определение меры оценки количества информации…………12

1.1.2 Частная взаимная информация дискретных источников сообщений………………………………………………………………………15

1.1.3 Энтропия дискретного сообщения……………………………….17

1.1.4 Условная энтропия дискретных сообщений……………………19

1.1.5 Энтропия объединенного сообщения……………………………20

1.1.6 Средняя взаимная информация дискретных источников сообщений………………………………………………………………………20

1.2 Непрерывный источник…………………………………………….22

1.2.1 Собственная информация и энтропия…………………………..22

1.2.2 Основные свойства дифференциальной энтропии непрерывного источника……………………………………………………………..………..25

1.2.3 Средняя взаимная информация непрерывных источников сообщений………………………………………………………………………26

1.2.4 Эпсилон-энтропия непрерывных источников сообщений…..28

2 Кодирование СООБЩЕНИЙ иСТОЧНИКОВ……………………..32

2.1 Модели дискретных источников сообщений…………………….32

2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений……………………………………………………….36

2.3 Методы эффективного кодирования……………………………...40

2.3.1 Метод кодирования источников ШеннонаФано……………..40

2.3.2 Метод кодирования источников Хаффмена……………………41

2.4 Предельная условная энтропия дискретных источников сообщений………………………………………………………………………43

2.5 Информативность непрерывных источников сообщений дискретного времени…………………………………………..…………………………….45

2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени……………………………………………………….48

2.7 Квазиобратимое эффективное кодирование непрерывных источников с заданным критерием качества………………………………………….…..51

2.8 Эпсилон-энтропия Гауссовского вектора сообщений…………..52

2.9 Эпсилон-энтропия стационарного Гауссовского процесса дискретного времени…………………………………………………………..…………….58

3 ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ……………………………61

3.1Основные определения………………………………………………61

3.1.1 Методы повышения верности передачи информации………..61

3.1.2 Понятие о корректирующих кодах………………………………62

3.2 Линейные коды……………………………………………………....68

3.2.1 Построение линейных кодов……………………………………..68

3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство………………………………………………………………………73

3.2.3 Примеры линейных кодов…………………….………………….78

3.3 Циклические коды……………………………....………….……….81

3.3.1 Выбор образующего многочлена………….…..……….…………85

3.3.2 Базис циклического кода, формирование кодовых

комбинаций………………………………………………..….……….………..85

3.4 Синдром циклического кода и его свойства……….….…..……...90

3.5 Коды БОУЗА - ЧОУДХУРИ – ХОКВИНГЕМА….…….……... …94

3.6 Коды Абрамсона……………………………………………………..98

3.7 Коды Рида — Соломона……………………………..……………..99

3.8 Понятие об итерактивных и каскадных кодах………….……..100

3.9 Понятие о непрерывных кодах…………………………………..104

3.9.1 Цепной код………………………………………………..……….104

3.9.2 Сверточные коды………………………….……………………..106

4 МОДЕЛИ КАНАЛОВ СВЯЗИ………………………………..………….110

4.1 Непрерывный канал……………………………………………….110

4.2 Дискретный канал……………………………..…………………..117

БИБЛИОГРАФИЧЕСКИЙ СПИСОК ……………………….…....…….129

133