- •Энтропия как мера неопределенности физической системы
- •Энтропия сложной системы
- •Условная энтропия
- •Основные свойства условной энтропии
- •Количественные аспекты информации
- •Количество информации, как мера снятой неопределенности
- •Объем информации
- •Взаимная информация
- •Взаимная информация
- •Вопросы
- •Упражнения
- •Лабораторная работа Свойства энтропии
- •Глава 2. Неопределенность непрерывных случайных величин Энтропия непрерывной случайной величины х
- •Количество информации для непрерывных систем
- •Принцип экстремума энтропии и экстремальные распределения
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •Епсилон -энтропия (ε-энтропия )
- •Вопросы
- •Упражнения
- •Глава3. Глава 3 Передача информации по каналам связи
- •Источники сообщений
- •Избыточность информации
- •Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •Согласование оконечных устройств с каналами связи
- •Вопросы
- •Упражнения
- •Лабораторная работа Скорость передачи информации и пропускная способность каналов связи
- •Глава4. Кодирование информации
- •Префиксные коды
- •Основные теоремы кодирования
- •Оптимальное кодирование
- •Код Шеннона-Фано
- •Блочное кодирование
- •Код Хаффмана
- •Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана – объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Сжатие информации
- •Классификация сжатия по виду информации
- •1) Побуквенное сжатие
- •2) Сжатие слов и словосочетаний
- •3) Сжатие и свертывание текста
- •4) Сжатие массивов чисел
- •5) Сжатие графической информации
- •Вопросы
- •Упражнения
- •Лабораторная работа Кодирование информации
- •Содержание отчета
- •Глава 5. Помехоустойчивое кодирование
- •Коды с обнаружением ошибок
- •1. Код с проверкой на четность.
- •2. Код с постоянным весом.
- •Корректирующие коды
- •Код Хэмминга
- •Проверяем ее
- •Техническая реализация кода Хэмминга
- •Декодирование циклических кодов
- •Вопросы
- •Упражнения
- •Приложение
Лабораторная работа Кодирование информации
Работа выполняется на персональном компьютере с использованием языков программирования высокого уровня. Постройте программу, которая бы позволила ввести сообщение произвольной длины. Программа должна выделить буквы алфавита введенного текста, подсчитать и выдать частоту появления этих букв. Определить энтропию, приходящуюся в среднем на одну букву, длину кода при равномерном кодировании и избыточность. Программа должна обладать некоторым интерфейсом для удобства работы пользователя. Имея программу необходимо запустить ее и, пользуясь подсказками меню, ввести произвольный связный текст на русском языке. Это может быть пословица, стихотворение или произвольный текст.
Используя результаты, выданные компьютером, следует:
1) проанализировать алфавит введенного сообщения:
количество символов алфавита, значение энтропии H, длину кода Q при целочисленном кодировании, избыточность R при однобуквенном кодировании;
2) построить вручную коды Шеннона-Фано и Хаффмена (используя полученные статистические данные);
3) определить среднюю длину кода kс;
4) сравнить полученное значение kс с оптимальным H, выданным компьютером;
5) сделать необходимые выводы.
Содержание отчета
Отчет о лабораторной работе должен содержать блок схему программы. Результаты анализа при статистическом кодировании, схему построения эффективных кодов, результаты анализа и сравнения различных методов кодирования, эффективность сжатия. Листинги результатов работы программы, выводы.
Глава 5. Помехоустойчивое кодирование
Коды с обнаружением ошибок
Корректирующие коды
Код Хемминга
Техническая реализация кода Хэмминга
Циклические коды
Декодирование циклических кодов
Аппаратурная реализация циклических кодов
Вопросы и упражнения
Лабораторная работа. Исследование способов построения корректирующих кодов
Помехоустойчивое кодирование
Под помехой понимается любое воздействие, накладывающееся на полезный сигнал и затрудняющее его прием. Ниже приведена классификация помех и их источников.
Внешние источники помех вызывают в основном импульсные помехи, а внутренние - флуктуационные. Помехи, накладываясь на видеосигнал, приводят к двум типам искажений: краевые и дробления. Краевые искажения связаны со смещением переднего или заднего фронта импульса. Дробление связано с дроблением единого видеосигнала на некоторое количество более коротких сигналов.
Приведем классификацию помехоустойчивых кодов.
Построение помехоустойчивых кодов в основном связано с добавлением к исходной комбинации (k-символов) контрольных (r-символов) см.на рис.5.1. Закодированная комбинация будет составлять n-символов. Эти коды часто называют (n,k) - коды.
k—число символов в исходной комбинации
r—число контрольных символов
Рис.5.1. Получение(n,k)-кодов.
Коды с обнаружением ошибок
1. Код с проверкой на четность.
Такой код образуется путем добавления к передаваемой комбинации, состоящей из k информационных символов, одного контрольного символа (0 или 1), так, чтобы общее число единиц в передаваемой комбинации было четным.
Пример 5.1. Построим коды для проверки на четность, где k - исходные комбинации, r - контрольные символы.
k |
r |
n |
11011 |
0 |
110110 |
11100 |
1 |
111001 |
Определим, каковы обнаруживающие свойства этого кода. Вероятность Poo обнаружения ошибок будет равна
Так как
вероятность ошибок
является
весьма малой величиной, то можно
ограничится
Вероятность
появления всевозможных ошибок, как
обнаруживаемых так и не обнаруживаемых,
равна
,
где
-
вероятность отсутствия искажений в
кодовой комбинации. Тогда
.
При передаче
большого количества кодовых комбинаций
Nk
, число кодовых комбинаций, в которых
ошибки обнаруживаются, равно:
Общее количество
комбинаций с обнаруживаемыми и не
обнаруживаемыми ошибками равно
Тогда коэффициент обнаружения Kобн для кода с четной защитой будет равен
Например, для
кода с k=5 и вероятностью
ошибки
коэффициент
обнаружения составит
.
То есть 90% ошибок обнаруживаем, при этом
избыточность будет составлять
или
17%.
