Екзаменаційний білет № 25
1. Кількісна міра інформації. Ентропія та продуктивність джерела повідомлень.
По Шеннону
Пусть дан некоторый ансамбль сообщений, то есть перечень сообщений с указанием вероятности появления каждого из них. При этом суммарная вероятность всех сообщений должна быть равна единице. Говорят, что ансамбль представляет собой группу сообщений. В ансамбле не указывается конкретное число сообщений, так как оно не имеет особого значения. Указываются только порядковые номера сообщений.
Верхняя строка содержит номера поступающих сообщений, нижняя – вероятности их появления.
Количество информации, которое содержится в i-м сообщении равно
, то есть чем менее вероятно сообщение тем больше информации оно содержит. Таким образом, от частной ситуации равной вероятности сообщений, рассмотренной Хартли, Шеннон перешел к общему случаю.
Количество информации, которое содержит в среднем одно сообщение можно рассматривать как математическое ожидание
Полученное выражение называется энтропией источника:
Энтропия источника – среднее количество информации в одном сообщении. Не следует путать энтропию с количеством информации в одном конкретном сообщении Ii.
Если в источнике есть множество сообщений, точно знать о каждом из них необязательно. В этом заключается преимущество среднего значения количества информации. Усреднение позволило Шеннону оценить как редкие, так и частые сообщения.
Энтропия HИ характеризует источник сообщения. Аналогично можно получить и “энтропийную характеристику сигнала”.
Каждое сообщение
передается n
сигналами, каждый из которых может
принимать K
значений. Будем считать, что в сигнале,
которым передается i-е
сообщение, содержится
элементарных
сигналов со значением
j. Тогда можно
утверждать, что значение сигнала j
встретится в канале связи с вероятностью
Символ j
появится
раз
в i-м
сообщении только в том случае, если
появится само сообщение; так получается
произведение
.
По Хартли информационная емкость сигнала зависит от n и K:
где 1/K – вероятность появления любого сообщения из возможных.
Шеннон оценил среднее значение количества информации
где HC – энтропия одного элементарного сигнала, который имеет K рабочих значений разной вероятности.
По Хартли
Передающее устройство преобразует сообщение в сигнал. Приемное устройство преобразует сигнал в сообщение. В любой системе передачи обязательно существует преобразование сообщения в сигнал, которое должно быть взаимно однозначным. Для обеспечения однозначности используются дискретные сигналы из n элементарных (единичных) сигналов. Единичный сигнал занимает, как правило, одну временную позицию. Каждый элементарный сигнал может иметь K различных значений. Величина K зависит от способов модуляции.
Если используются
дискретные сигналы, характеризуемые
длиной сообщения n
и основанием системы счисления K
(как правило, K
= 2), то должно
выполняться условие:
,
где M –
число сообщений.
Можно прийти к
заключению, что
–
количество информации. Это в принципе
верно, но такая мера неудобна для
практического использования, так как
не удовлетворяет условию аддитивности.
Проиллюстрируем это утверждение примером. Пусть имеется два источника сигнала
Тогда
Но для
.
Нужно выбрать такую меру, которая была бы пропорциональна числу элементарных сигналов в сообщении, то есть приращение количества информации составляло бы dI=Kdn. Можно проделать следующие преобразования:
Последняя формула была выведена Хартли в 1928 г. и носит название формулы Хартли. Из формулы следует, что неопределенность в системе тем выше, чем больше M . Основание логарифма a можно выбрать произвольно. Наиболее часто встречаются следующие случаи:
Следует отдельно отметить первый случай; количество информации, равное одному биту, определяет простейшую ситуацию с двумя равновозможными исходами.
Формула Хартли получена при ограничениях.
Отсутствие смысловой ценности информации.
M
возможных состояний равновероятны:
P
= 1/M –
вероятность появления одного сообщения.
Между элементарными
сигналами отсутствует корреляция, и
все значения равновероятны. Утверждение
об отсутствии корреляции следует из
того, что для передачи сообщений
используются все возможные сигналы.
Равная вероятность всех K
значений сигналов следует из формулы
p=1/K
– вероятность появления любого значения
из K
возможных.
Возникают ситуации, в которых отмеченные выше ограничения не действуют, по этому для них формула Хартли дает неверные результаты. Другое представление количества информации было найдено Клодом Шенноном примерно через 20 лет после опубликования формулы Хартли.
Энтропия – это среднее количество информации, на одно сообщение источника и определяемое как математическое ожидание ожидание количества информации на выходе источника.
Свойства энтропии:
а) учитывает только непрерывную вероятность появления (информации) сообщений на выходе источника
б) всегда положительна
в) максимальна для равновероятных сообщений
Производительность источника – среднее количество информации, выдаваемое источником в единицу времени.
,
где Т – среднее
время на передачу одного символа.