- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
Контрольные вопросы
В чем отличие дискретного и непрерывного каналов?
Какие помехи в канале связи можно отнести к аддитивным?
В каком случае энтропия непрерывного источника максимальна?
В чем отличие скорости передачи информации от пропускной способности?
Поясните процесс зависимости пропускной способности непрерывного канала связи от ширины полосы пропускания.
ПРИЛОЖЕНИЕ
Таблица неприводимых примитивных полиномов
m |
Кодовое обозначение |
Полиномиальное обозначение |
1 |
2 |
3 |
2 |
111 |
х2 + х + 1 |
3 |
1011 1101 |
х 3 + х + 1 х 3 + х2 + 1 |
4 |
10011 11001 11111 |
х 4 + х + 1 х 4 + х3 + 1 х 4 + х3 + х2 + 1 |
5 |
100101 101001 101111 110111 111011 111101 |
х 5 + х2 + 1 х 5 + х3 + 1 х 5 + х3 + х2 + х + 1 х 5 + х4 + х2 + х + 1 х 5 + х4 + х3 + х + 1 х 5 + х4 + х3 + х2 + 1 |
6 |
1000011 1001001 1010111 1011011 1100001 1100111 1101101 1110011 1110101 |
х6 + х + 1 х6 + х3 + 1 х 6 + х4 + х2 + х + 1 х 6 + х4 + х3 + х + 1 х 6 + х5 + 1 х 6 + х5 + х2 + х + 1 х 6 + х5 + х3 + х2 + 1 х 6 + х5 + х4 + х + 1 х 6 + х5 + х4 + х2 + 1 |
Продолжение
1 |
2 |
3 |
7 |
10000011 10001001 10001111 10010001 10011101 10100111 10101011 10111001 10111111 11110001 11110111 11111101 |
х 7 + х + 1 х 7 + х3 + 1 х 7 + х4 + х2 + х + 1 х 7 + х4 + 1 х 7 + х4 + х3 + х2 + 1 х 7 + х5 + х2 + х + 1 х 7 + х5 + х3 + х + 1 х 7 + х5 + х4 + х3 + 1 х 7 + х5 + х4 + х3 + х2+ 1 х 7 + х6 +х5 + х4 + 1 х 7+ х6 + х5 + х4 + х2 + х + 1 х 7+ х6 + х5 + х4 + х3 + х2 + 1 |
8 |
100011011 100011101 100101111 100101101 100111001 100111111 101001101 110001101 110011111 110100011 110101001 110110001 111100111 111110011 111110101 111111001 |
х 8 + х4 + х3 + х + 1 х 8 + х4 + х3 + х2 + 1 х 8 + х5 + х3 + х2 + х + 1 х 8 + х5 + х3 + х2 + 1 х 8 + х5 + х4 + х3 + 1 х 8+ х5 + х4 + х3 + х2 + х + 1 х 8+ х6 + х3 + х2 + 1 х 8+ х7 + х3 + х2 + 1 х 8+ х7 + х4 + х3 + х2 + х + 1 х 8+ х7 + х5 + х + 1 х 8+ х7 + х5 + х3 + 1 х 8+ х7 + х5 + х4 + 1 х 8+ х7 + х6 + х5 + х2 + х + 1 х 8+ х7 + х6 + х5 + х4 + х + 1 х 8+ х7 + х6 + х5 + х4 + х2 + 1 х 8+ х7 + х6 + х5 + х4 + х3 + 1 |
Окончание
9 |
1000000011 1000010001 1000010111 1000011011 1001101001 1001101111 1001110111 1001111101 1011001111 1011010001 1011110101 |
х 9 + х + 1 х 9+ х4 + 1 х 9+ х4 + х2 + х + 1 х 9+ х4 + х3 + х + 1 х 9+ х6 + х5 + х3 + 1 х 9+ х6 + х5 + х3 + х2 + х + 1 х 9+ х6 + х5 + х4 + х2 + х + 1 х 9+ х6 + х5 + х4 + х3 + х2 + 1 х 9+ х7 + х6 + х3 + х2 + х + 1 х 9+ х7 + х6 + х4 + 1 х 9+ х7 + х6 + х5 + х4 + х2 + 1 |
Библиографический список
Зюко А.Г. и др. Теория передачи сигналов: Учебник для вузов. – М.: Радио и связь, 1986.
Котененко В.В., Румянцев К.Е. Теория информации. – Таганрог: ГРТУ, 2004.
Котусов А.С. Теория информации. – М.: Радио и связь, 2003.
Кузьмин И.В., Кедрус В.А. Основы теории информации и кодирования. – Киев: Вища школа, 1977.
Финк Л.М. Теория передачи дискретных сообщений. – М.: Советское радио, 1970.
Радиотехнические системы передачи информации: Учеб. пособие для вузов / В.А. Борисов, В.В. Калмыков, Я.М. Ковальчук и др.; Под ред. В.В. Калмыкова. – М.: Радио и связь, 1990.
Оглавление
Введение 3
1. Энтропия вероятностной схемы
Основные принципы, понятия и определения теории информации 4
Количество информации в сообщении 6
Энтропия источника сообщений 8
Условная энтропия 12
Взаимная информация и взаимная энтропия 15
Избыточность сообщений 19
Скорость создания информации дискретным источником без па-
мяти 21