
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
6.3. Описание источника ошибок на основе процессов накопления
Схема Н. В данной схеме модель источника ошибок отличается от ранее рассмотренных схем допустимостью перекрытия пакетов. Любая позиция последовательности {Еi} может стать началом пакета ошибок, причем длины интервалов между началами пакетов Н (Н=0,1,…) являются случайными независимыми величинами. Поэтому процесс {Di}, где Di=1 для позиций, являющихся началами пакетов, и Di=0 для позиций, не являющихся началами пакетов, представляет собой процесс с мгновенным восстановлением. Статистика этого процесса полностью определяется распределением вероятностей Р(Н) длин между пакетами.
Длины пакетов lН (lН=1,2,…) являются значениями независимых случайных величин и определяются распределениями Р(lН). В пределах каждого отдельного пакета (не перекрывающегося с другими пакетами) ошибки независимы и имеют вероятность возникновения ошибки . Таким образом, статистика {Еi} по схеме Н полностью определяется двумя одномерными распределениями вероятностей – длин пакетов Р(lН) и интервалов между началами пакетов Р(Н), т.е. статистикой последовательности пар независимых чисел {Н, lН} и вероятностью ошибки в пакете .
На рис.19 приведен пример построения последовательности {2,3},{3,4},{1,5},{6,8},{0,2} для схемы Н.
Рис.19
Для данной модели, в отличие от схемы В, независимы не промежутки между пакетами, а интервалы между пакетами. Это обуславливает возможность перекрытия и примыкания пакетов (возможно перекрытие нескольких пакетов).
Последовательность ошибок {Еi} для данной модели может быть представлена последовательностью состояний {Сi}, в пределах которых ошибки независимы и имеют одинаковые вероятности. Число состояний – более двух и может быть сколь угодно большим, т.к. на участке наложения пакетов вероятность ошибки может превышать вероятность ошибки в каждом отдельном пакете. Действительно, в пределах каждого пакета позиции поражаются с вероятностью 2 (см. рис. 1.7), следовательно, вероятность поражения позиции на участке наложения n пакетов равна (1-(1-2)n), а вероятность ошибки равна 0,5[1-(1-2)n]. С ростом числа наложений пакетов вероятность поражения стремится к единице, а вероятность ошибки - к 0,5. При =0,5 последовательность {Еi} может быть представлена двоичной последовательностью элементарных состояний {Ci}={Si}, не являющейся процессом восстановления.
Перекрытие пакетов усложняет подсчеты. Просто определить вероятность того, что данная случайная величина является началом пакета:
.
Сложность определяется тем, что сумма длин пакетов на некотором участке не дает возможность непосредственно найти распределение вероятностей числа пораженных символов и ошибок. Если взять пакеты длиной в один символ, т.е. Р(lН=1)=1 и Р(lН>1)=0, то процесс состояний {Ci} вырождается в процессе с мгновенным восстановлением (перекрытие пакетов невозможно). Если распределение Р(lН) геометрично, то канал не будет обладать памятью, а вероятность ошибки определится формулой
.
Указать, какая из схем моделирования наиболее эффективно аппроксимирует реальную статистику ошибок и удобна для расчетов, затруднительно. Многое зависит от критериев аппроксимации.
Схемой М можно с любой степенью точности аппроксимировать статистику ошибок в любом стационарном канале.
Схема В удобна для использования при имитационном моделировании. Многие существующие модели являются ее частным случаем. Эта схема позволяет с достаточной точностью отразить закономерности возникновения ошибок.
Схема Н позволяет учесть возможность перекрытия различных мешающих воздействий и поэтому более наглядна физически. Она мало удобна для аналитических расчетов, но удобна при имитационном моделировании.