книжка умняшкина по моцос

возрастающую функцию от количества состояний N. Причём если у источника всего одно состояние, то ясно, что такой источник не производит информации, потому необходимо выполнение условия IX(1)=0.

Вводя меру количества информации как некоторую монотонную функцию, необходимо учесть также следующее. Если рассмотреть источник сообщений Z, представляющий собой объединение двух независимых источников X (c N равновероятными состояниями) и Y (c M равновероятными состояниями), то количество равновероятных символов, описывающих состояния Z, получаем равным MN. При этом количество информации, создаваемой источником Z, равно количеству информации, создаваемой источниками X и Y. Поэтому мера количества информации, рассматриваемая как функция от числа равновероятных состояний, должна отвечать требованию: IZ(NM)=IX(N)+IY(M). Данному требованию отвечает функция логарифма. В 1928 году Хартли предложил следующую меру для количества информации, производимой источником сообщений без памяти X, который имеет N равновероятных состояний:

IX=IX(N)=logN=-logp, (1)

где p=1/N – вероятность перехода источника в каждое из состояний. Основание логарифма при этом не имеет принципиального значения и определяет лишь масштаб единиц исчисления, т.е. то количество информации, которое связано с одной единицей исчисления. Например, если основание логарифма – двоичное, то единицы измерения называют битами, а один бит – это то количество информации, которое несет один символ, создаваемый источником сообщений с двумя равновероятными состояниями.

Пример 1. Из колоды в 32 карты вытянута одна. Сколько вопросов, требующих ответа «да» или «нет», нужно задать, чтобы определить, какая карта вытянута?

◄ Фактически, необходимо ответить, какое количество информации связано с источником, который имеет 32 равновероятных состояния, в единицах измерения источника с двумя («да», «нет») состояниями. Поэтому число вопросов I = log2 32 = 5 . Первый вопрос можно задать, на-

пример, такой: «Масть красная?» Затем, в зависимости от результатов ответа на первый вопрос: «Пики?», или: «Черви?». Затем: «Карта – картинка (валет, дама, король, туз)?» Оставшиеся вопросы очевидны. ►

Мера Хартли не получила широкого распространения, поскольку применима лишь к весьма узкому классу источников сообщений, для которых состояния равновероятны.

101

2. Дискретный источник с неравновероятными состояниями

волов. Обобщая меру Хартли, исходим из следующих соображений: мера информации должна отражать априорную неопределённость состояния источника, поэтому в приведенном примере с двумя возможными состояниями источник X имеет максимальную неопределённость, поскольку его состояния равновероятны. У источника Y состояние практически предопределено, и не имея никакой дополнительной информации, мы почти наверняка не ошибемся, сказав, что источник находится в состоянии y2. Для вводимой меры количества информации, таким образом, в данном случае должны получить I(X)>I(Y). Обобщая меру Хартли, естественно потребовать от вводимой меры количества информации и для источника с N>2 числом состояний выполнения аналогичного свойства: максимальное значение (при заданном N) количество информации принимает в случае равной вероятности состояний, p=1/N, т.е. Imax=logN. Если же какое-то состояние источник X принимает с единичной вероятностью (т.е. у источника одно состояние), то количество информации вновь должно быть равным нулю: Imin=0.

В качестве меры количества информации (априорной неопределённости) для дискретного источника сообщений без памяти Шенноном в конце 40-х годов прошлого века предложена следующая величина:

k =1

где pk = P{X = xk } – вероятность перехода источника в состояние xk.

Величина (2) носит название энтропии. Основание логарифма здесь вновь не имеет принципиального значения и так же, как и для меры Хартли, определяет количество информации, приходящейся на одну единицу измерения. В цифровой обработке сигналов традиционно выбирается двоичное основание, т.е. количество информации измеряется в битах.

Трактовать (2) можно как среднее количество информации, приходящейся на один символ, создаваемый источником сообщения. Действительно, символы сообщения несут разную информацию: если вероятность появления символа велика, он несет меньшую информацию, а если вероятность мала, то бóльшую. Простейший пример, приведённый выше

102

◄ Ансамбль источников описывается следующей таблицей вероят-

ностей состояний: pn,m = P{X = xn ,Y = ym} , n=1,…,N; m=1,…,M. Эн-

= H ( X ) + H (Y ) . ►

3°. При фиксированном значении N энтропия принимает максимальное значение H(X)=logN в случае, когда pk=1/N, k=1,…,N.

Необходимым условием безусловного экстремума является равенство нулю частных производных. Полагая для упрощения записи, что основание логарифма является натуральным, имеем j =1,K, N −1:

одинаковы, pj=1/N. Достаточным условием максимума функции является отрицательный знак второго дифференциала в найденной критической точке. Отрицательный знак второго дифференциала соответствует отрицательной определённости матрицы вторых производ-

104

критерием Сильвестра матрица размерности (N-1)× (N-1) отрицательно определена тогда и только тогда, когда угловые

миноры ∆ j (определители подматриц, составленных из первых j

изпоследнейстрокивычтем суммувсех предыдущих

поскольку определитель треугольной матрицы равен произведению диагональных элементов. Видим, что условие sign ∆ j = (−1) j выпол-

няется, поэтому максимум энтропии (2) достигается при равенстве вероятностей состояния дискретного источника,

Hmax(p1,…,pN)=H(1/N,…, 1/N)=logN. ►

4°. Энтропия характеризует неопределённость выбора источником состояния, но не саму содержательную сущность этого выбора.

105

Поясним последнее свойство. Например, если лекарство в 90% случаев вызывает улучшение состояния больного, а в 10% случаев не оказывает эффекта, то неопределенность (энтропия) его действия такая же, как и у «лекарства», которое в 90% случаев не вызывает изменения состояния больного, а в 10% случаев даже влечёт его ухудшение.

◄ H = − 12 log2 12 − 14 log2 14 − 18 log2 18 − 18 log2 18 = 148 = 1,75 (бит) . ►

5.2. Эффективное кодирование сообщений дискретного источника без памяти

Вновь рассматриваем источник X, имеющий N, вообще говоря, не-

равновероятных состояний (xk , pk )kN=1 . Каждому состоянию источника

можно непосредственно (фактически, представив в двоичном виде номер состояния k) поставить в соответствие двоичный код из R бит, где целое число R находится из условия: N≤2R. То есть для представления

можно использовать другой «алфавит кодирования», в данном случае {0,1}, что представляет для нас особый интерес как основной способ представления информации в цифровых электронных устройствах. Поэтому и для энтропии (2) также будем использовать далее двоичные единицы измерения (биты), выбрав основание логарифма равным двум.

Если двоичная энтропия источника H(X) меньше величины R, находимой из условия N≤2R, то можно предложить более эффективные способы двоичного кодирования состояний источника X.

Пример 3. Поставим в соответствие символам источника сообщений из примера 2 битовые последовательности следующим образом: а↔0, б↔10, в↔110, г↔111. Покажем, что любое сообщение источника, закодированное в двоичном виде, является декодируемым, а среднее число бит, приходящееся на один символ, совпадает со значением двоичной энтропии источника.

◄ Действительно, так как более короткие битовые коды символов не являются началом более длинных кодов, то любая последовательность

106

бит однозначно декодируется, например: 111101000 11KK. Обозначая

{{{{{ {

г б б а а в или г

Rk – число бит в коде символа xk, среднее количество бит, приходящееся на кодирование одного символа, получаем равным

4

R = ∑pk Rk = 0,5 1+0,25 2 +0,125 3 +0,125 3 =1,75 (бит)

k=1

-это совпадает со значением двоичной энтропии H(X). Как видим, по сравнению с непосредственным кодированием, при котором для каждого символа требуется код длиной 2 бита, получаем более эффективный способ представления сообщений источника X в двоичном виде.►

Среднее количество бит, необходимое для кодирования одного символа сообщения, будем называть также битовыми затратами. Битовые коды переменной длины, у которых короткие коды не являются началом более длинных (декодируемые коды) называются префиксными.

В приведённом примере битовые затраты совпали со значением энтропии источника. Оказывается, величина двоичной энтропии является минимально возможным значением для битовых затрат, какие бы способы кодирования не использовались. Это определяется следующей теоремой.

Теорема 1. (Шэннон.) Сообщения источника с двоичной энтропией H можно кодировать так, что ε >0 битовые затраты R, приходящиеся на

ты на кодирование последовательности из M символов). Невозможно построить такой декодируемый двоичный код, для которого R<H.

◄ Доказательство теоремы сложно, и мы его опускаем. ►

Таким образом, двоичная энтропия источника (2) является точной оценкой снизу для минимально возможных битовых затрат, приходящихся в среднем на кодирование одного символа. Коды, обеспечивающие минимально возможные битовые затраты, называются эффективными. Теорема Шэннона не дает правил построения эффективных кодов, а лишь определяет теоретически возможный предел для эффективности кодирования. В специально подобранном примере 3 для заданного источника был приведён код, обладающий максимальной эффективностью, однако в общем случае достижение максимальной эффективности возможно лишь теоретически, при кодировании сообщений из бесконечного числа символов.

107

После двоичного кодирования получаемую последовательность бит можно рассматривать как сообщение, созданное некоторым «приведенным» источником B, имеющим два состояния (см. рис). При этом, очевидно, информация, содержащаяся в битовой последовательности, в точности та же, которая была создана исходным источником X.

Источник B с двумя состояниями {0,1}

При таком рассмотрении процесса двоичного кодирования из теоремы Шэннона следует важное следствие: появление нулевых и единичных битов в эффективном двоичном коде является равновероятным. Действительно, при эффективном кодировании каждый бит (символ, создаваемый источником B) должен нести максимальную информацию. Количество информации, связанной с символом источника сообщений, есть, как мы говорили ранее, характеристика априорной неопределенности состояния источника, т.е. его энтропия. Двоичная энтропия источника B максимальна и равна 1 биту в том случае, когда его состояния равновероятны. В противном случае выходной битовый код источника является избыточным: один двоичный символ источника B несет информацию H(B)<1(бит), и в соответствии с теоремой Шэннона существует способ повышения эффективности кодирования состояний источника B.

Способы построения эффективных кодов опираются как раз на необходимость получения равных вероятностей для появления нулевого и единичного бита в двоичном представлении информации. Практически не отличающиеся друг от друга методы построения эффективных кодов первоначально были предложены независимо друг от друга Шэнноном и Фано.

Метод построения эффективных кодов по Шэннону-Фано.

1.Упорядочить таблицу символов (состояний источника)

{x1,…,xN} в порядке убывания вероятностей: p1≥…≥pN. Полученная таблица является первым блоком символов для последующего разбиения.

2.Разбиваем текущий блок символов на две части (два подблока) так, чтобы вероятность попадания символа сообщения в один

108

Для данного разбиения получим битовые затраты R=2,80 бит и вдвое меньшую избыточность кода: R-H≈0,04 бит на символ. ►

Как видим, некоторая избыточность в полученных в примере 4 кодах всё-таки осталась. Из теоремы Шеннона следует, что избыточность кодов, т.е. величину ∆=R-H, можно сделать как угодно малой. Для этого символы сообщения нужно кодировать не по одному, а объединяя их в серии (по два, три и т.д.). Рассмотрим это на следующем примере.

Пример 5. Построить эффективные коды для источника сообщений Z, имеющего вероятности появления символов: p(z1)=0,9 и p(z2)=0,1.

◄ Энтропия источника: H(Z)=-0,1 log20,1 – 0,9 log20,9≈0,47 бит. Посим-

вольное кодирование источника дает единственно возможный код, когда одному символу приписывается нулевой, а другому – единичный бит, что дает битовые затраты R=1 бит/символ и более, чем 100%-ую избыточность кода: (R–H)/H≈0,53/0,47≈1,13. Для того чтобы повысить эффективность кодирования, будем объединять последовательно выдаваемые источником Z двоичные символы в пары, т.е. исходным для построения кода рассматриваем новый алфавит с четырьмя символами. Соответствующее распределение вероятностей и полученные по методу ШеннонаФано коды приведены в

величину 2R=0,81 1+0,09 2+0,09 3+0,01 3=1,29 бит. То есть битовые за-

траты в пересчёте на один символ сообщения источника Z уменьшились и составили величину R=0,645 бит, сократив избыточность кода со 113% до 37%. Кодируя сообщение источника Z тройками символов, т.е. рассматривая при построении кодов Шэннона-Фано алфавит из 8 символов, можно дополнительно повысить эффективность кодирования. Проверьте это самостоятельно. ►

110