- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
3.6. Согласование оконечных устройств с каналами связи
В качестве оконечных устройств, предназначенных для приема информации, могут быть аппараты, предназначенные для приема текстовой информации; аудио устройства; видео устройства отображения информации. Последние из указанных устройств дают наиболее полную информацию.
Видео устройства содержат каналы отклонения луча по осям X и Y и канал формирования знака. Каналы X и Y отклоняют луч во вполне определенные точки, количество которых зависит от числа разрядов кода, поступающего на канал отклонения по оси X и оси Y.
Количество
точек по оси X
по оси Y
.
Общее
количество точек q·r.
Величины
определяют относительные погрешности
отображения по оси X
и Y
соответственно.
X
Y
Рис.3.7. Отображение символов на экране
В области каждой из отмеченных дискретных точек может быть сформирован знак (цифра, буква, условное обозначение и т.д.). Для формирования знаков на экране служит третий тракт. Поступающий код n3 с помощью дешифратора знаков позволяет отобразить нужный символ на экране.
Количество
различных знаков
.
Таким образом, каждый раз, когда на вход
видео устройства приходит код на все
три канала, луч на экране отображает
одно из возможных состояний, общее число
которых равно qrl.
Следовательно, алфавит отображающего
устройства состоит из m=qrl
символов.
Символы могут отображаться на экране
с разной вероятностью. Энтропия сообщений,
отображаемых на экране, будет тогда
равна
Если
положить, что все состояния являются
равновероятными, то H(X)
будет максимальной. Информативность
видео устройства будет при этом
наибольшей. Тогда
и
или
.
То есть, максимальная энтропия численно равна сумме всех разрядов двоичного кода, подаваемого на видео устройство. Если на видео устройство в секунду подаются n0 раз различные кодовые комбинации, то наибольшая скорость отображения информации будет составлять
Задача
согласования видео устройства с каналами
связи состоит в том, что бы по каналу
связи передать количество информации
не больше того, которое можно отобразить
на экране видео устройства, то есть
где R скорость передачи информации по каналу связи,
R0 скорость отображения информации на видео устройстве.
Отсюда
Тогда минимальная полоса канала связи, по которому передаются бинарные сообщения, будет составлять
(3.13)
При
достаточно большом отношении сигнал/шум
Тогда
ширина полосы канала связи
при согласовании канала связи с
устройством отображения информации.
Вопросы
3.1. Что такое источник информации (ИИ)? Приведите примеры. Как описывается источник информации с математической точки зрения.
Как можно определить скорость выдачи информации ИИ?
3.2. Что такое избыточность информации?
3.3. Что такое пропускная способность канала передачи информации? Чем отличается пропускная способность от скорости передачи информации по каналу связи?
3.4. Чем отличается информационная скорость передачи от технической, и в каких единицах эти скорости измеряются?
3.5. Как изменяется пропускная способность дискретного канала связи при воздействии на канал помех.
3.6. Сформулируйте основную теорему Шеннона о кодировании для канала без помех.
3.7. Сформулируйте и поясните теорему Шеннона о кодировании для канала с помехами.
3.8. Приведите выражение пропускной способности для дискретного канала без помех и с помехами.
3.9. Сформулируйте и поясните теорему отсчетов (Котельникова)
3.10. Какие параметры влияют на объем сигнала.
3.11. От чего зависит пропускная способность непрерывного канала связи.
3.12. Назовите условия согласования источников информации с пропускной способностью непрерывных каналов связи.
3.13. Какова скорость отображения информации приемным устройством отображения информации.
