Тема 2. Математическая теория информации

2.1. Количество информации, и ее мера

Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределенность при выполнении связанных с этим событий. Ясно, что степень этой неопределенности в различных случаях будет совершенно разной. К примеру, сравните опыты:

- определение цвета первой встретившейся вам вороны (иногда встречаются белые):

- первый встретившийся - левша (обоснование);

- первый встретившийся мужчина или женщина ( степень неопределенности);

- номер лотерейного билета (выигравший).

Для практики важно уметь численно оценивать степень неопределенности опытов, чтобы иметь возможность сравнивать их.

Начнем с рассмотрения опытов, имеющих k равновероятных исходов. Очевидно, что степень неопределенности оценивается числом k. При k=1 исход опыта не является случайным. С ростом k, т.е. при наличии большего числа разнообразных исходов, предсказания результата становятся затруднительными.

Таким образом, искомая численная характеристика степени неопределенности должна зависеть от k, т.е. являться f(k). При k=1, f(k)=0 (ибо в этом случае неопределенность полностью отсутствует и при увеличении k, f(k) должна увеличиваться.

Для более полного определения f(k) надо предъявить к ней дополнительные требования. Рассмотрим два независимых опыта и (т.е. любые сведения об исходе первого из них не влияют на исход второго). Пусть опыт имеет k исходов, опыт исходов. Рассмотрим сложный опыт , состоящий в одновременном выполнении событий и . Естественно считать, что степень неопределенности опыта будет равна сумме неопределенностей, характеризующих и , т.е.

Последнее условие наталкивает на мысль, что за меру неопределенности опыта, имеющего k равновероятных исходов можно принять число , а для сложного опыта . При этом log1=0 т. е. f(1)=0; f(k) > f(l) при k > l.

Заметим, что выбор основания логарифма здесь не существенен, т.к. переход от одной системы логарифма к другой сводится лишь к умножению функции на модуль перехода log_b a .

Теперь перейдем от случайных событий к системам передачи информации. Допустим, что на вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.2.1).

Помехи

x₁ y₁

x₂ y₂

… …

x_n y_n

Рис. 2.1. Система передачи информации

Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками - {Х, р(х)}. При этом: Х={х₁, х₂ ,…, х_m } - множество возможных сообщений источника; i = 1, 2 ,..., m, где m - объем алфавита; p(x_i) - вероятности появления сообщений, причем p(x_i)  0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении x_i, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p(x_i), поэтому естественно предположить, что количество информации I(x_i) в сообщении x_i является функцией p(x_i). Вероятность появления двух независимых сообщений x₁ и x₂ равна произведению вероятностей p(x₁, x₂) = p(x₁).p(x₂), а содержащаяся в них информация должна обладать свойством аддитивности, т. е.:

I(x₁, x₂) = I(x₁)+I(x₂).

Поэтому для оценки количества информации предложена логарифмическая мера:

.

В зависимости от основания логарифма используют следующие единицы информации:

2 - [бит] (bynary digit – двоичная единица), используется при анализе информационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e - [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

10 -[дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

.

Исторически первые шаги к понятию меры неопределенности были сделаны в 1928 г. американским инженером-связистом Хартли. Эта мера хотя и позволяла решить определенные практические задачи, но во многих случаях была мало показательной, поскольку полностью игнорирует различие между характером имеющихся исходов.

Невероятные события имеют такой же смысл и значение как и весьма вероятные. Столь грубую модель источника информации Хартли оправдывал "психологическими" факторами. Число сообщений , которое можно получить, комбинируя символов алфавита по элементов в сообщении,

Ошибочность теории Хартли была показана Клодом Шенноном, предложившим принять в качестве меры неопределенности опыта с возможными исходами A₁, A₂,…, A_k величину,

Руководствуясь некоторыми физическими аналогиями, эту величину предложили назвать энтропией, и, как сказано выше, здесь величины p(A₁), p(A₂),…, p(A_k) - вероятности отдельных исходов. Т.о., "психологические факторы" Хартли здесь учитываются с помощью понятия вероятности, имеющий чисто статистический характер.

Однако следует отметить, что и мера Шеннона не может претендовать на полный учет всех факторов, встречающихся в жизни.

Например, сравните 2 метода лечения: первый метод дает полное выздоровление 90 из 100, и 10 улучшение; второй - успешен в 90 из 100, но 10 - смертельный исход. При этом степень неопределенности одинакова.

Отмеченная особенность энтропии объясняется тем, что это понятие впервые введено в теории передачи сообщений по линиям связи, а там, для определения времени и стоимости такой передачи, сообщение совершенно несущественно.

Энтропия – среднее количество информации, приходящееся на элемент сообщения. Количество информации, в сообщении, состоящем из n неравновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):

.

Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

.