1 Раздел: Количественные информационные характеристики дискретных источников сообщений и каналов Параграф 1.1: Количество информации в дискретном сообщении. Энтропия.

Предположим, что источник сообщений может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником. Каждому состоянию источника U ставится в соответствие условное обозначение в виде знака (например, u₁, u₂, …, u_n) (буквы с индексом). Совокупность знаков u₁, u₂, …, u_n, соответствующих всем N возможным состояниям источника, называют его алфавитом. А количество состояний N – объемом алфавита.

Формирование таким источником сообщений сводится к выбору им некоторого состояния u_i и выбора соответствующего знака. Т.о., под элементом дискретным сообщением будем понимать символ u_i, выдаваемый источником. В течение некоторого времени T источник может выдать дискретное сообщение в виде последовательности элементов дискретных сообщений, представляющий собой набор символов u_i (например, u₅, u₃, u₇, …), каждый из которых имеет длительность T_i секунд. В общем случае, необязательно одинаковую для разных u_i. Такая модель источника сообщений соответствует реальной ситуации, имеющей место в телеграфии (T_i ≠ const) и передачи данных (T_i = const). Отдельные состояния источника могут выбираться им чаще, другие – реже. Поэтому, в общем случае, он характеризуется дискретным ансамблем U, т.е. полностью совокупностью состояний с вероятностями их появления, составляющие в сумме единицу.

(1.0)

.

где P (u_i) – вероятность состояния u_i

При выдаче источником сообщения в виде последовательностей элементарных дискретных сообщений, его полным вероятностным описанием является семейство распределений вероятностей совместного появления набора различных символов u_i в моменты времени t₁, t₂, …, t_n, где n – длина последовательностей.

Располагая такими сведениями об источнике, можно вычислить вероятность любого отрезка сообщений длиной, меньшей n.

Если функция P (u_i ^t1, u_i ^t2, … u_i ^tn) не меняется во времени, т.е. если справедливо

P (u_i ^t1, u_i ^t2, … u_i ^tn) = P (u_i ^{t1 + τ}, u_i ^{t2 + τ}, … u_i ^{tn + τ}),

то источник называется стационарным.

Если при определении статистических характеристик стационарного источника, усреднение по ансамблю можно заменить усреднением по времени, то такой источник называется эргодический. Вероятностные свойства источника можно оценить, рассматривая лишь одну его остаточную длинную реализацию.

В каждом элементе сообщения содержится определенная информация – сведения о состоянии источника. Определяя количественную этой информации, не будем учитывать его смысловое содержание. Очевидно, что при отсутствии сведений о состоянии источника имеется неопределенность относительно того, какое сообщение u_i из числа возможных им выбрано, а при наличии этих сведений данная неопределенность полностью исчезает. Естественно, количество информации, содержащейся в дискретном сообщении, измерять величиной исчезнувшей неопределенности.

Введем меру этой неопределенности, которую можно рассматривать и как меру количества информации. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость её монотонного возрастания с увеличением возможности выбора, т.е. объема алфавита источника, и, кроме того, желательно, чтобы вводимая мера обладала свойством аддитивности, заключавшееся в следующем:

Если два независимых источника с числом равновероятностных состояний N и M рассматривать, как один источник одновременно реальной пары состояний n_i и m_i, то в соответствии с принципом аддитивности полагают, что неопределенность объединенного источника равна сумме неопределенностей исходных источников. Поскольку объем алфавита объединенного источника равен N*M, то искомая функция меры удовлетворяет условию:

f (N*M) = f (N) + f (M)

Можно математически строго показать, что единство функций, при перемножении аргументов которой значения функций складываются, является логарифмической функцией. Поэтому, перечисленные требования выполняются, если в качестве меры неопределенности источника с равновероятностными состояниями и характеризующего его ансамбля U принять логарифм объема алфавита источника:

H (U) = log N (1.1)

Легко видеть, что:

1. С ростом N величина H (U) монотонно возрастает.

2. В случае, если объем алфавита источника N =1, т.е. когда неопределенность выбора источника отсутствует, то H (U) = log 1 = 0.

3. Величина H (U) обладает свойством аддитивности, поскольку логарифм N*M равен N + M: log (N*M) = log (N) + log (M)

Впервые данная мера предложена американским ученым Хартли в 1928 г.

Основание логарифма 1.1 не имеет принципиального значения и определяет только масштаб или единицу количества информации. При этом единица количества информации называется двоичной единицей, или битом, и представляет собой информацию, содержащеюся в одном дискретном сообщении источника равновероятностных сообщений с объемом алфавита, равным двум.

При выборе в 1.1 основание логарифма, равным 10, получим десятичную единицу, названную дидом. Иногда используют натуральную единицу количества информации, называемую натом. При этом основание логарифма в 1.1 равно e = 1, 718281828…

Рассмотренная мера количества информации может иметь лишь ограниченное применение, поскольку предполагает равную вероятность выбора источником любого из возможных его состояний. В более общем случае, когда вероятность различных источников неодинакова, степень неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния. В такой ситуации количество информации, содержащиеся в одном дискретном сообщении U_k, целесообразно определить как функцию вероятности появления этого сообщения P(U_k) и характеризовать величиной

i (U_k) = – log p (U_k) = log (1/p (U_k)) (1.2)

Основание в 1.2 выбирают их тех же соображений, что и в 1.1 Знак «–» в 1.2 необходим для того, чтобы количество информации i (U_k) было неотрицательным числом, т.к. всегда p (U_k) ≤ 1. Очевидно, что так же, как и мера H (U), определенная в 1.1, величина i (U_k) обладает свойством аддитивности, и в случае достоверного события p (U_k) = 1, i (U_k) = 0.

Однако теперь количество информации, содержащейся в дискретном сообщении, зависит от степени неожиданности этого сообщения, характеризующийся вероятностью его появления. Количество информации в сообщении тем больше, чем оно менее вероятно, т.е. чем оно более неожиданно. Если источник выдает последовательность зависимых между собой элементов сообщений, то наличие предшествующих сообщений может изменить вероятность последующего, а, следовательно, и количества информации в нем. Оно должно определяться по условиям вероятности:

P (u_k / u_k-1, u_k-2, …)

выдачи сообщения u_k при известных предшествующих ему сообщений u_k-1, u_k-2 и т.д. и определяется:

i (u_k / u_k-1, u_k-2, …) = log p (u_k / u_k-1, u_k-2, …) (1.3)

Определяемое формулами 1.2 и 1.3 количество информации характеризует лишь одно случайное сообщение u_k, но не весь ансамбль. Для информационной характеристики всего ансамбля или источника сообщений используется математическое ожидание количества информации в сообщениях источника. Эта величина называется энтропией и вычисляется:

H (U) = M {i (u_k)} = M {log (1 / p (u_k)} = ∑ p (u_k) log p (u_k) (1.4)

Чем больше значение энтропии источника, тем больше степень неожиданности выдаваемых им сообщений в среднем, т.е. тем более неопределенным является ожидаемое сообщение. Впервые мера 1.4 была предложена американским ученым Клодом Шенноном в 1948 году. Она была названа энтропией неслучайно. Дело в том, что вид формулы 1.4 совпадает с полученным ранее Больцманом выражением для энтропии термодинамической системы. Совпадение имеет глубокий физический смысл, т.к. в обоих случаях величина H характеризует степень разнообразия состояний системы. Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в источнике может быть реализовано N - равновероятностных состояний, то вероятность каждого p_i = 1 / N. С учетом этого меру неопределенности источника Хартли H (U) = log N = – log 1 / n = log p_i можно трактовать как количество информации, приходящее на 1 дискретное сообщение. Поскольку все сообщения равновероятны, количество информации, содержащееся в каждом из них, равны. В то же время энтропия по Шеннону – среднее количество информации, содержащейся в первом из неравновероятных сообщений источника. Т.о. мера Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятностными состояниями. Она позволяет учесть статические свойства источника информации. Наряду с рассмотренными мерами Хартли и Шеннона разрабатывались и другие подходы к определению количество информации. Наиболее интересной и принципиально новой явилась информационная концепция Колмогорова. В её основу было положено следующее:

На основании определения энтропии 1.4 количество информации по Шеннону связано с вероятностью наступления событий p_i. Т.к. понятие вероятности имеет смысл лишь для в связи с массовыми явлениями, количество информации в единичном акте и представляющее интерес в связи с данным исходом, оказывается выраженным через массовое явление. Эта внутренняя противоречивость содержания Шеннона количества информации, опирающегося на концепцию выбора, преодолевается на базе общей теории алгоритмов. Согласно алгорифмическому подходу энтропии H (u, z) есть минимальная длина, записанной в виде последовательности 0 и 1 программы, которая позволяет построить объект U, имея в своем распоряжении объект z. При этом основные понятия ТИ могут быть обоснованы без обращения к теории вероятности, причем так, что понятие «энтропия» и №количество информации» оказываются строго применимыми к индивидуальным объектам. Однако Шенноновская мера интересна не сама по себе, а как основание встроенной теории, позволившая изменить и расширить существующие представления о возможных перспективах в технике и телекоммуникации. Эта теория и подлежит изучению в ТИ.