
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
6.4. Модель Гилберта
Канал может быть в двух состояниях – хорошем и плохом. В хорошем состоянии ошибки быть не может, а в плохом состоянии ошибки возникают с вероятностью . Последовательность состояний {Ci} образует простую цепь Маркова. Модель Гилберта соответствует схеме М.
Если k=2, 0=0, 1=, то статистика {Еi} полностью определяется матрицей переходных вероятностей
и величиной .
Чтобы возможно было отобразить группирование ошибок в пакеты, вероятности изменения состояний должны быть значительно меньше вероятностей их сохранения, т.е. 01<<00, 10<<11. Вероятность ошибки в канале
обычно меньше условной вероятности ошибки в пакете (е<<).
Вероятность возникновения пакета ошибок с данного символа
(П=Р001)
при группировании больше е, поэтому 10<.
При 10=10, 01=11 получим канал без памяти.
Последовательность состояний {Ci} по модели Гилберта может также рассматриваться как процесс восстановления с конечным временем, для которого
Р()=0100-1, Р(l)=1011l-1,
или как процесс с мгновенным восстановлением, для которого
Р(=0)=11 Р()=100100-1,
или как процесс с мгновенным отказом, для которого
Р(l=0)=00, Р(l)=011011l-1, (l>0).
6.5. Модель Эллиота-Гилберта. Модель Элиота
Эта модель есть обобщение модели Гилберта при допущении ошибок в хорошем состоянии канала. Модель Эллиота-Гилберта получается из общей схемы М, если k=2 и определена четырьмя параметрами – двумя вероятностями из матрицы М и условными вероятностями 0 и 1. Матрица переходных вероятностей такая же, как и модели Гилберта. Вероятность ошибки определится по формуле
.
Согласно модели Эллиота, последовательность {Еi} является процессом с мгновенным восстановлением и определяется одномерным распределением длин интервалов между ошибками
.
6.6. Модель Беннета-Фройлиха
В данной модели допускается перекрытие пакетов. Каждая позиция последовательности {Еi} может стать началом пакета ошибки с постоянной вероятностью П, которая не зависит от длин пакетов.
Распределение длин пакетов определяется вероятностью P(l), которая также не зависит от длин пакетов. В пределах пакета ошибки независимы и имеют постоянную вероятность . Вне пакетов ошибки не возможны.
Модель Беннета–Фройлиха задается вероятностями П, и распределением P(l). Данная модель является частным случаем схемы Н. Действительно, длины интервалов (Н) между началами пакетов независимы. Длины пакетов l (lН) также независимы и не зависят от по определению.
Распределение длин между началами пакетов геометрично: P()=П(1-П), а распределение длин пакетов – произвольно.
Таким образом, модель Беннета – Фройлиха определяется распределениями P(), P(l) и вероятностью .
При предположении независимости возникновения пакетов, вероятности Pn(m) того, что в блоке длины n возникает m ошибок, определяются по биноминальному закону
.
6.7. Модель Попова - Турина
Предполагается существование в канале независимо возникающих групп ошибок, внутренняя структура групп не сводится к независимым ошибкам [7].
Каждая позиция последовательности ошибок может стать началом цепочки пакетов ошибок с вероятностью, не зависящей от того, на каких других позициях возникли цепочки.
Распределение длин цепочек предполагается геометрическим. Внутри цепочек независимо появляются пакеты ошибок, длины которых распределены по геометрическому закону. Внутри пакетов задается условная вероятность появления ошибок. Таким образом, в канале возможны два состояния – безошибочное и состояние цепочки пакетов ошибок.