3. Основные понятия и определения

1. Количество информации в дискретном сообщении. Энтропия

Предположим, что источник сообщений может в каждый момент времени случайным образом принять одно состояние из конечного множества возможных состояний. Такой источник называют дискретным источником сообщений. При этом принято говорить, что разные состояния реализуются вследствие выбора их источника. Каждому состоянию источника соответствует условное обозначение в виде знака. Совокупность знаков u₁,…,u_i,…,u_N, соответствующих всем возможным состояниям источника, называют его алфавитом, а количество состояний - объёмом алфавита. Формирование таким источником алфавита сводится к выбору им некоторого состояния и выдачи соответствующего знака. Таким образом, под дискретным сообщением будем понимать символ, выдаваемый источником, при этом в течение некоторого времени источник может выдать некоторое сообщение в виде последовательности некоторых дискретных сообщений, представляющего собой набор символов u_1, каждый из которых имеет длительность, в общем случае необязательно одинаковую для всех символов. Такая модель источников сообщений соответствует реальной ситуации, имеющей место в телеграфии и передачи данных. Отдельные состояния источника могут выбираться чаще, другие - реже. Поэтому он хранится дискретным ансамблем U, т.е. полной совокупностью состояний с вероятностями их появлений, составляющими в сумме 1:

U=

, (1)

где Р(u₁) это вероятность выбора источником состояния u_1. При выдаче источником сообщений в виде последовательности элементарных дискретных сообщений, полным вероятным описанием является вероятность совместного появления набора разных символов u_i в момент t_n , где n - длина последовательности

Р(u₁^t1_,u_i^t2_,…,u_k^ti_,…,u_S^tn)

Располагая такими сведениями об источнике, можно вычислить вероятность любого отрезка сообщения длиной меньше n. Если функция не меняется во времени, то источник называется стационарным. Если при определении вероятностных характеристик стационарного источника усреднение можно заменить усреднением по времени, то такой источник называется эрготическим. Вероятностные свойства эрготического источника можно оценить, рассматривая лишь одну его достаточно длинную реализацию. В каждом элементарном сообщении содержится для его получателя определённая информация, совокупность сведений о состоянии дискретного источника сообщения. При определении количественной меры этой информации не будет учитываться её смысловое содержание, так же как и значения для конкретного получателя.

Очевидно, что при отсутствии сведений о состоянии источника имеется неопределённость относительно того, какое сообщение из числа возможных им выбрано, а при наличии этих сведений данная неопределённость полностью исчезает. Естественно количество информации, содержащееся в дискретном сообщении, измеряется величиной исчезнувшей неопределённости. Мера этой неопределённости, которая может рассматриваться и как количество информации, приходящееся на одно дискретное сообщение (поскольку все сообщения источника, в данном случае равномерные количества информации, в каждом из них равны):

I(U)=logN (2)

Впервые данная мера была предложена Хартли в 1928г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу количества информации. Чаще используют 2, при этом единица количества называется битовой, и представляет собой информацию, содержащуюся в одном сообщении с объёмом алфавита равным двум. При выборе основания 10 получаем десятичную единицу, называемую дитом. Иногда используют натуральную единицу, называемую нитом.

Рассматриваемая мера количества информации может иметь лишь ограниченное применение, так как предполагает равную вероятность выбора источником любого из его возможных состояний. В общем случае степень неопределённости зависит также и от вероятности этого состояния. Тогда количество информации лучше определить как функцию вероятности появления этого сообщения и характеризовать величиной:

(3)

Основание логарифма в (3) выбирается также как и в (2). Знак минус нужен, чтобы количество информации было неотрицательным числом. Количество информации в дискретном сообщении зависит от степени неожиданности этого сообщения, характеризуемой вероятностью этого сообщения. Количество информации в сообщении тем больше, чем оно более неожиданно. Если источник даёт последовательность зависящих между собой сообщений, то наличие предшествующих может заменить вероятность последующих, а, следовательно, и количество информации в нем. Оно должно определяться по условной вероятности выдачи сообщений u_к при известных предшествующих сообщениях, тогда количество информации:

i(u_k/u_k-1, u_k-2,…)= -log P(u_k/u_k-1, u_k-2,…) (4)

Определения (3) и (4) количества информации являются случайными величинами, так как сами сообщения являются случайными. Их распределения вероятностей определяются распределением вероятностей сообщений в данном ансамбле. Для численной характеристики всего ансамбля используется математическое ожидание количества информации в отдельных сообщениях, называемое ЭНТРОПИЕЙ:

H(U)=M (5)

Чем больше энтропия источника, тем больше степень неожиданности выдаваемых им сообщений в среднем, т.е. тем более неопределённым является ожидание сообщений. Впервые мера (5) была предложена Клодом Шенноном в 1948 году. Энтропия по Шеннону - это среднее количество информации, содержащееся в одном из не равновероятных состояний. Она позволяет учесть статистические свойства источника информации. Наряду с рассмотренными, существуют и другие подходы к определению кол-ва информации.

Свойства информации:

1. энтропия любого дискретно ансамбля неотрицательна. Равенство нулю возможно лишь в том случае, когда источник генерирует одно сообщение с вероятностью 1, тогда вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника, определённых в соответствии с (3), неотрицательно.

2. пусть N - объём алфавита источника, тогда H(U)>=log N. Причём равенство имеет место даже когда все сообщения равновероятные.

3. энтропия объединения нескольких независимых сообщений равна сумме энтропии исходных источников - свойство аддетивности энтропии.