- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Задание 2
Энтропия непрерывных сообщений
Вычислите избыточность алфавита a, d, c, d, для p=(0.2; 0.3; 0.4; 0.1)
Преобразуйте комбинацию 110110001 из 2 в 10
Произведите сжатие последовательности чисел 348, 653, 348, 653, 653, 653 по методу арифметического сжатия
Закодируйте в коде Хэмминга комбинацию 1010101010
Задание 3
Пропускная способность непрерывного канала связи
Взаимодействие двух систем А и В описывается матрицей
0.4
0.1 0
Р(А,В)= 0 0.2 0.1
0 0 0.2
Определите безусловную энтропию системы А и системы В
Постройте оптимальный код для p(a)=0.7, p(b)=0.2, p(c)=0.1 используя блочное кодирование
Произведите сжатие информации для текста “Татарский агропромышленный комплекс” с помощью метода словарного сжатия
Закодируйте в циклическом коде комбинацию 111010
Задание 4
Взаимная информация
Определите пропускную способность канала связи, если вероятности
0.2 0 0
Р(А,В)= 0.1 0.2 0
0 0.1 0.4
а символы на выходе источника вырабатываются со скоростью 100 знаков в секунду
Представьте число 95763 двоично-десятичным кодом
Представьте комбинацию 1011011 в инверсном коде
Постройте образующую матрицу для g(x)=x3+ x + 1 и закодируйте комбинации 1010 и 1001
Задание 5
Энтропия непрерывных случайных сообщений, если элементы этих сообщений распределены по нормальному закону
Определите среднее количество информации для сообщения 11010110
Преобразуйте число 9753 в 2-10 код
Алфавит состоит из семи букв с вероятностями 0.3 0.25 0.15 0.1 0.1 0.05 0.05.
Представьте в коде Хаффмана и определите среднюю длину кода.
Закодируйте в коде Хэмминга комбинацию 11011101
Задание 6
Объем сигнала
Определите скорость передачи сообщений, если m=4
p1=0.15 p2=0.4 p3=0.25 p4=0.2
t1=3 t2=2 t3=5 t4=6сек
Представьте комбинацию 10101110101 в виде десятичного числа.
Источник выдает сообщения со скоростью R=1000 симв/сек.
Алфавит m=3 x,y,z p=(0.7 0.2 0.1). Закодируте символы источника таким образом, чтобы обеспечить прохождение сообщений через канал связи с С=1250 бит/сек без задержек.
5. Закодируйте комбинацию 1011 в циклическом коде
Задание 7
Какова теоретически минимальная длина кода с точки зрения ТИ.
Непрерывный сигнал, имеющий частоту 100гц, замените дискретным. Определите длительность интервалов отсчетов и количество отсчетов, если длительность сигнала составляет 300мс.
Преобразуйте числа F5, 973 из 16 2.
Код 10001101 представьте в виде корреляционного кода
Закодируйте 1010101 в коде Хэмминга
Задание 8
Дайте доказательство 4-й теоремы кодирования
Мощность полезных сигналов в 100 раз больше мощности помех. Определите пропускную способность канала, если ширина полосы частот составляет 3000гц.
Преобразуйте 111011011011 из 2 16.
Последовательности 110110 и 101010 представьте в инверсном коде. Покажите процесс декодирования.
Закодируйте 101010 в циклическом коде
