36. Эффективное кодирование. Особенности систем эффективного кодирования. Префиксные коды.
Сообщение составленное из букв некоторого алфафита может закодировать таким образом, чтобы число двоичных символов на букву было сколь угодно близко к энтропии источника, но не меньше этой величины:
-
для кода Шеннона
Все преобразования выполняются без учета статистических хар-к поступающих сообщений. Учитывая статистические св-ва ист-ка сообщений можно min-ть в среднее число двоичных символов, требующихся для выражения одной буквы сообщения, что при отсутствии шума позволяет умен-ть время передачи и объем памяти. Такое эффективное кодирование базируется на основной теореме Шеннона для каналов без шума (Шеннон доказал, что сообщение составлено из двух букв некоторого алфавита можно закод-ть так, что среднее число двоичных символов на букву будет сколько угодно близко к энтропии источника этих сообщ-й, но не меньше этой вел-ны). Теорема не указывает конкретного способа кодирования но из нее следует, что при выборе каждого символа кодовой комбинации необходимо стараться, чтобы он нес макс-ю инфор-ю. След-но каждый симв-л должен принимать знач-е «0» или «1» по возмож-ти с равными вероятностями и каждый выбор должен быть независим от значения предыдущих символов.
37. Построение кода Шеннона – Фано (пояснить на примере).
Код строиться: буква алфавита сообщения выписываются в таблицу в порядке убывания вероятностей, затем они разде-ся на две группы так, чтобы сумма вероят-стей каждой из групп были по возможности одинаковыми всем буквам верхней половины. В качестве первого символа ставиться «0», а всем нижним «1». Каждая из полученных групп разбивается на две другие подгруппы с одинаковыми суммарными вероятн-ми и тд. Процесс повторяется до тех пор пока в каждой подгруппе останется по одной букве. Рассмотрим алфавит из 8-ми букв. При обычном кодир-ие для представления каждой буквы имеется 3 символа. Наибол-ий эффект сжатия получ-ся в случае, когда вероя-сть букв представляет собой целоч-ные отриц-ые степени двойки.
-
среднее число сим-ов.
n(zi)-число символов в кодовой комбинации соответ-ей букве zi
|
Z1 |
1/2 |
1 |
|
Z2 |
¼ |
01 |
|
Z3 |
1/8 |
001 |
|
Z4 |
1/16 |
0001 |
|
Z5 |
1/32 |
00001 |
|
Z6 |
1/64 |
000001 |
|
Z7 |
1/128 |
0000001 |
|
Z8 |
1/128 |
0000000 |
38. Методика Хаффмена (пояснить на примере).
Код Хаффмена позволяет устранить однозначное кодирование и более эффективное.
Буквы алфавита выписываются в столбец в порядке убыв-я вероятностей, две последние буквы объединяются в одну вспомогательную, кот-ой приписывается суммарная вероят-ть. Вероятн-ти букв не учавствовавших в объединение и получении сум-ой вер-ти снова распред-ся в порядке убыв-я вероятностей в дополнит-й столбец, а две посл-ие вновь объединяются. Процесс повторяется до тех пор пока не получим единс-ую вспомог-ю букву с вероятность равной «1».
При посторение код-го дерева необ-мо учесть, что ветви с большей вер-тью присваев-ся знач-е «1».
Эффект достигается благодаря присвоению более коротких кодовых комбинаций буквам с большей вер-ю и более длинных – менее вероятным буквам. Т.о. эффект связан с различием в числе символов кодовых комбинаций.
Вопросы к экзамену по ТО ИИТ
Виды сигналов. Классификация сигналов.
Элементы теории сигналов. Подразделение передаваемых сигналов по диапазонам частот. Особенности распространения сигналов.
Элементы теории информации. Понятие меры. Основные направления определения меры информации. Виды сообщений.
Структурные меры информации. Кванты. Биты.
Аддитивная мера (мера Хартли).
Статистические меры информации. Вероятность и информация.
Понятие энтропии. Энтропия ансамбля.
Свойства энтропии.
Энтропия объединения. Условная, безусловная, совместная и взаимная энтропии.
Количество информации и избыточность. Тезаурус.
Дискретизация информации. Квантование по уровню.
Дискретизация по времени и восстановление непрерывных функций. Регулярность отсчетов.
Теорема Котельникова. Воспроизводящие функции.
Кодирование информации. Общие понятия и определения. Цели кодирования. Общая схема системы передачи информации.
Модуляция носителей информации. Виды носителей и сигналов. Графики.
Модуляция и кодирование. Детерминированные и случайные сигналы.
Временная и спектральная формы описания сигнала.
Спектры сигналов с носителем в виде постоянного состояния. Невозмущенный носитель. Прямая модуляция.
Спектры сигналов с гармоническим носителем. Невозмущенный носитель. Амплитудная модуляция. Глубина модуляции.
Амплитудно – манипулированные сигналы. Балансная модуляция. Модуляция с подавлением боковой полосы частот. Формы сигналов.
Частотная модуляция и фазовая модуляция. Основные понятия. Индекс модуляции. Девиация частоты. Спектральное разложение частотно-модулированных и фазо -модулированных сигналов при малых индексах модуляции. Особенности ЧМ и ФМ сигналов.
Системы передачи информации. Каналы связи. Пропускная способность канала с помехами.
Пропускная способность непрерывного канала. Пропускная способность симметричного дискретного канала. Техническая эффективность системы передачи информации.
Выбор полосы пропускания канала. Информационная эффективность канала. Согласование характеристик канала и сигнала.
Основы теории разделения сигналов.
Частотное, временное и фазовое разделение сигналов.
Помехоустойчивый прием сигнала.
Частотная фильтрация.
Метод накопления.
Корреляционный метод фильтрации (временная фильтрация).
Согласованная фильтрация.
Кодирование. Выражение информации в цифровом виде. Классификация аналого – кодовых преобразователей.
Аналого – кодовые преобразователи считывания.
Аналого – кодовые преобразователи последовательного счета (с прямым и развертывающим измерительным преобразованием).
Аналого – кодовые преобразователи поразрядного уравновешивания.
Эффективное кодирование. Особенности систем эффективного кодирования. Префиксные коды.
Построение кода Шеннона – Фано (пояснить на примере).
Методика Хаффмена (пояснить на примере).