
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
Глава 6. Критерии описания реальных дискретных каналов
Реальные дискретные каналы неидеально синхронизированы, нестационарны, несимметричны и имеют память.
Ошибки синхронизации связаны с нестабильностью оборудования.
Нестационарность обусловлена наличием детерминированных составляющих в процессах, которые влияют на закономерности возникновения ошибок.
Несимметричность обеспечивается инерционностью решающих устройств, наличием прерываний в канале (t)=0 – мультипликативная помеха), длительным воздействием помехи одного знака.
Память в канале выражается в группировании ошибок (одно воздействие порождает группу символов).
Под моделью канала понимают статистическое описание стационарной двоичной последовательности ошибок {Еi} через статистики {Si} или {Di} при известных вероятностях 0 и 1.
Модель должна обеспечивать возможность подсчета основных характеристик, знание которых может потребоваться при оценке различных систем. Это следующие характеристики:
- вероятность ошибки (неправильного приема символа) е;
- распределение длин интервалов между соседними ошибками Р(0) и правильными символами Р(l0), а также распределение длин серий правильных символов Р(’) и Р(l’) ошибок;
- распределение вероятностей Р(е0,…,еn-1) различных сочетаний ошибок в блоке длиной n символов;
- распределение вероятностей Pn(t) появления t ошибок в блоке длиной n символов;
- пропускная способность канала C=R(1-H(E)), где R - скорость передачи по каналу, Н(Е) – энтропия источника ошибок.
Известно три способа построения модели: простая цепь Маркова, процесс восстановления с конечным временем, процесс накопления.
6.1. Описание источника ошибок на основе цепей Маркова
Схема М. Рассмотрим представление последовательности {Еi}.
Пусть k-ичный процесс состояний {Сi}, сi=0,1,…,k-1 есть простая цепь Маркова. Вероятность того или иного из двух возможных значений ei на данной (i-й) позиции определится значением состояния ci на этой позиции, т.е. P(e0/c0)=P(e/c)=ce, где ce=1-e для e=0 и ce=e для e=1. Таким образом, статистика полностью определяется матрицей переходных вероятностей Pc-1c0 порядка k
.
Если с
- вероятность ошибки в с-м
состоянии, то вероятность ошибки в
канале
,
гдеРс
- финальная вероятность с-го
состояния, определяемая по формуле
,
.
Обычно состояния канала могут быть разделены на две группы, в одной из которых вероятности ошибок значительно ниже, чем во второй группе. Состояния первой группы называют хорошими, а состояния второй группы – плохими состояниями. Хорошие состояния имеют номера с=0,1,…,r-1, а плохие состояния – с=r,…, k-1. Матрица переходных вероятностей примет вид
,
,
,
,
.
6.2. Описание источника ошибок на основе процессов восстановления
Схема В. Последовательность ошибок {Еi} разбивается на отрезки (серии символов) двух видов, пакеты ошибок и промежутки между ними. В каждом из отрезков возникают независимые ошибки с вероятностями 1 и 0, причем 10. Длины промежутков (=1,2,…) и длины пакетов l независимы в совокупности. Поэтому статистика {Еi} полностью определяется одномерным распределением Р() и Р(l), а также вероятностями 1 и 0. Таким образом, канал имеет два состояния – хорошее и плохое (k=2), последовательность состояний {Ci}={Di} является процессом восстановления с конечным временем. Если 1=0,5, 0=0, то {Ci} совпадает с последовательностью элементарных состояний {Si}. Если 1=1, 0=0 – с последовательностью ошибок {Еi}. Если 1=0, то имеем канал с независимыми ошибками.
Вероятность попадания символа в пакет ошибок определится формулой
.
Вероятность того, что данная позиция является началом пакета ошибок и равная ей вероятность того, что данный символ является началом промежутка между пакетами, равна
,
поэтому вероятность ошибки определится формулой
.
Вероятность Pn(t) того, что блок символов длины n содержит t ошибок, при условии независимости ошибок в пакете и в промежутке между ними, определится формулой
.
Если ошибки возможны только в пакетах (0=0, 1=), то
.