2.4.Мера информации по Шеннону
Мера Хартли связывает неопределённость (и, следовательно, количество информации) только с общим числом состояний источника. При этом вероятности возникновения этих состояний игнорируются. Вместе с тем, начальная неопределённость состояния источника зависит не только от числа его состояний, но также и от вероятностей их возникновения. Например, рассмотрим две ситуации. В первой в качестве источника информации выступает человек, подбрасывающий монету и сообщающий, на какую сторону – аверс или реверс – она упала. Общее число исходов этого опыта равно двум и, следовательно, в соответствии с формулой Хартли объем такого сообщения составляет 1 бит. Во второй ситуации источник информации сообщает, выпадал или нет снег за последние сутки (для наглядности и определённости предположим, что рассматривается один из летних дней). Поскольку в последнем случае число возможных ответов также равно двум, то в соответствии с мерой Хартли объем сообщений также равен 1 биту.
Вместе с тем очевидно, что неопределённость начального состояния источника информации в первом случае существенно выше, чем во втором. Сообщение о том, что летним днём снег не выпадал, практически не несёт никакой информации, поскольку мы могли почти наверняка прогнозировать этот ответ, тогда как о стороне, на которую упала монета в результате подбрасывания, никаких разумных предположений сделать нельзя.
Таким образом можно сделать вывод о том, что формальная мера Хартли не всегда является верной характеристикой сообщения, поскольку подразумевает равную вероятность любого из возможных сообщений. А в реальных источниках различные сообщения могут иметь существенно отличающиеся вероятности возникновения. При этом, естественно, сообщения, имеющие высокую вероятность, менее ценны; их можно в какой-то степени предвидеть заранее. И наоборот, маловероятные сообщения представляют большую ценность.
Попытаемся связать неопределённость состояния источника и соответствующее количество информации, приходящееся на сообщение, с вероятностями его состояний.
Будем считать, что алфавит дискретного источника информации образован N различными символами, обозначаемыми (u1, u2, …, uN). Вероятности pi выбора того или иного символа могут отличаться. Полная совокупность допустимых символов и соответствующих им вероятностей называется ансамблем U:
,
причем входящие в ансамбль символы образуют по вероятности полную группу, т.е.
.
Оценивая количество информации, приходящееся на каждый из символов ансамбля (каждое состояние источника), Шеннон предложил использовать выражение вида
.
Действительно, поскольку
,
то логарифм от неё будет изменяться в
диапазоне
,
а с учётом минуса перед ним всё выражение
– в диапазоне
.
При этом маловероятным событиям (т.е.
событиям, у которых
близко к нулю) будет соответствовать
большое (вплоть до бесконечности)
количество информации, а более вероятным
– напротив малое (вплоть до нуля для
абсолютно достоверных).
Чтобы оценить, какое количество информации приходится в среднем на сообщение от такого источника, необходимо найти математическое ожидание, т.е. взвесить количества информации различных сообщений на соответствующие им вероятности возникновения и вычислить их сумму:
,
где N – число возможных сообщений, – вероятность i-го сообщения.
Полученная мера неопределённости получила название статистической меры по Шеннону или энтропии дискретного источника информации.
• Пример 1. При вынимании шаров из урны, где находится один черный и один белый шар, неопределенность составляет
Неопределенность оказалась равной одному биту.
• Пример 2. В урне находятся семь черных шаров и один белый. На этот раз неопределенность составит
.
Мера неопределенности уменьшилась почти вдвое по сравнению с первым примером.
Рассмотрим связь меры Шеннона и Хартли.
Если источник равновероятно генерирует
N различных символов,
то вероятность появления каждого из
них составляет
.
При этом неопределенность по Хартли,
приходящаяся на каждый символ равна
.
Если считать вероятности выбора символов
различными, то по аналогии, неопределенность,
приходящаяся на каждый конкретный
символ будет определяться величиной
.
Очевидно, что Hi
является случайной величиной, зависящей
от того, какой символ в действительности
будет сгенерирован источником. Средняя
по всему ансамблю неопределенность
источника на один символ будет составлять
.
Следовательно, мера Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравномерным распределением вероятностей появления символов.
Раздел №3 (2 часа)
Общая характеристика процессов сбора, передачи, обработки и накопления информации
План:
• Процессы сбора, передачи, обработки и накопления информации
• Этапы обращения информации в информационно-измерительных и управляющих системах