
- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
Элементы теории кодирования информации
Элементы теории кодирования 24
Основные характеристики кодов 27
Теоремы кодирования Шеннона 30
Простые (безызбыточные) коды
Натуральный двоичный код и код Грэя 33
Стандартные международные телеграфные коды 36
Задача неравномерного кодирования дискретных источников 37
Примеры неравномерных кодов 39
Помехоустойчивые блочные коды
Общие принципы построения помехоустойчивых кодов 44
Классификация помехоустойчивых кодов 46
Основные характеристики и корректирующие свойства блочных
кодов 48
Линейные блочные коды с обобщенными проверками на четность 49
4.4.1. Формирование (n, k) кода с обобщенной проверкой на четность 50
4.4.2. Структурные схемы кодеров и декодеров линейного кода 56
Циклические коды 58
4.5.1. Принцип построения циклического кода 58
4.5.2. Структурная схема кодера циклического кода 63
4.5.3. Алгоритм декодирования циклических кодов 66
4.5.4. Структурная схема декодера циклического кода 68
4.5.5. Мажоритарное декодирование 70
Модификации циклических кодов 72
БЧХ коды 74
5. Рекуррентные коды. Кодирование с перемежением
. Принцип построения рекуррентных (сверточных) кодов 80
. Декодирование сверточных кодов 83
. Кодирование с перемежением 86
6. Пропускная способность каналов связи
. Канал связи 90
. Пропускная способность непрерывного канала связи 93
. Пути повышения пропускной способности непрерывных каналов
связи 95
. Пропускная способность дискретного канала связи без помех 98
Приложение 101
Библиографический список 104
Кузьмин Александр Александрович
Основы теории информации
Учебное пособие
Редактор Н.C. Менькина
Компьютерная верстка Т.С. Камыгиной
Лицензия А № 165724 от 11.04.06 г.
Подписано к печати г. Тир. 300.
Уч.-изд. л. 4,4. Формат 60 ´ 84 1/16. Усл. п. л. .
Гарнитура Таймс. Зак. .
ГОУ ВПО «Череповецкий государственный университет»
162600
г. Череповец, пр. Луначарского, 5.