- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Упражнения
3.1. Число символов алфавита m = 4. Вероятности появления символов равны соответственно p1 = 0,15; p2 = 0,4; p3 = 0,25; p4 = 0,2. Длительности символов 1 = 3с; 2 = 2с; 3 = 5с, 4 = 6с. Чему равна скорость передачи сообщений, составленных из таких символов?
3.2. Сообщения составлены из пяти качественных признаков (m = 5). Длительность элементарной посылки = 20мс. Определить, чему равна скорость передачи сигналов и информации.
3.3. Определить пропускную способность бинарного канала связи, способного передавать 100 символов 0 или 1 в единицу времени, причем каждый из символов искажается (заменяется противоположным) с вероятностью р = 0,01.
3.4. Имеются источник информации с энтропией в единицу времени H(Х) = 100 дв.ед. и два канала связи; каждый из них может передавать в единицу времени 70 двоичных знаков (0 или 1); каждый двоичный знак заменяется противоположным с вероятностью р = 0,1. Требуется выяснить, достаточна ли пропускная способность этих каналов для передачи информации, поставляемой источником.
3.5. Чему равна пропускная способность симметричного канала, если источник вырабатывает сигналы со скоростью 2 знака в секунду, закодированные кодом с основанием m = 10, а вероятность ложного приема р = 0,3?
3.6. Сообщения составлены из алфавита Х = (х1, x2, x3). Вероятности появления символов алфавита 0,7; 0,2; 0,1 соответственно. Помехи в канале связи заданы следующей канальной матрицей:
Определить скорость передачи информации, если время передачи одного символа 1 = 0,02с.
3.7. Чему равна пропускная способность канала связи, описанного канальной матрицей:
если известно, что на выходе источника сообщений символы вырабатываются со скоростью 100 знаков в секунду?
3.8. Определить максимально возможную скорость передачи информации по радиотехническому каналу связи пункта управления с телеуправляемой ракетой, если полоса пропускания канала связи равна 3 МГц, а минимальное отношение сигнал-шум по мощности в процессе наведения ракеты на цель равно 3.
3.9. Определить полосу пропускания канала передачи телевизионного черно-белого изображения с 5х105 элементами, 25 кадрами в секунду и 8 равновероятными градациями яркости для отношения P/N = 15 при условии, что изображение может принимать наиболее хаотичный вид «белого шума».
Лабораторная работа
Скорость передачи информации
и пропускная способность каналов связи
Лабораторная работа выполняется путем составления программ на языке высокого уровня (типа Си)
1. Рассмотрите изменение скорости передачи информации по бинарному каналу связи без помех при изменении вероятностей появления нулевого и единичного сигналов ро и р1, с шагом 0,1. Длительности сигналов нулевого to и единичного t1, задаются преподавателем.
Возможные варианты:
а) to = 0,2; t1 = 0,8;
б) to = 0,3; t1 = 0,7;
в) to = 0,5; t1 = 0,5;
г) to = 0,8; t1 = 0,2.
Определите максимальную скорость передачи информации.
2. Рассмотрите изменение скорости передачи информации по дискретному каналу связи с помехами, если вероятность ложного приема изменяется от 0 до 1 с шагом 0,05. Параметры n и m задаются преподавателем. Возможные варианты:
а) n = 100, m = 4;
б) n = 50, m = 3;
в) n = 100, m = 2;
г) n = 50, m = 8.
3. Выявите зависимость пропускной способности непрерывного канала связи с учетом изменения отношения мощности сигнала к мощности помехи в диапазоне 0-10 с шагом 0,5
при F1 = 1МГц, F2 = 3МГц; F3 = 5МГц; F4 = 7МГц.
Содержание отчета
Отчет должен содержать основные расчетные формулы, листинги программ, графики изменения скорости информации, выводы.
