Формальные определения.

N

Энтропия не зависимых случайных событий X с n возможными состояниями рассчитывается по формуле.

H

I=1

1

(x)=-∑p(i)log2p(i).

Эта величина так же называется средней энтропией сообщения.

Величина log₂ 1/p(i) называется частной энтропией характеризующей только i-тое состояние. Таким образом энтропия события х является суммой с противоположным знаком всех произведений относительно частот появления события i умноженная на их двоичные логарифмы. (Основание 2 выбрано только для удобства работы с информацией представленной в двоичной форме).

Когда неопределённость снята полностью количество полученной информации I равно изначально существовавшей неопределённости H.

При частичном снятии неопределённости полученное количество информации и оставшаяся не снятая неопределённость составляют в сумме исходную неопределённость.

H=H++I_t

По этой причине формулы для расчёта энтропии H являются и формулами для расчёта количество информации I, то есть когда речь идёт о полном снятии неопределённости H в них может заменяться на I.

Шеннон вывел определение энтропии из следующих предположений:

1) Мера должна быть непрерывной - то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение энтропии.

2) В случае когда все варианты равновероятны увеличение количества вариантов должно всегда увеличивать полную энтропию.

3) Должна быть возможность сделать выбор в 2 шага в которых энтропия конечного результата должна будет являться суммы энтропии промежуточных результатов.

Шеннон показал что любое определение энтропии удовлетворяющее этим предположениям должно быть в форме

n

-

I=1

K ∑ p(i)log₂p(i)

где K константа нужная только для выбора единиц измерения.

Шеннон определил что изменение энтропии (H=-p₁log₂p1-...-p_nlog₂n) применяемое к источнику информации может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел.

Энтропия является разницей между информацией содержащейся в сообщении и той частью информации которая точно известна или хорошо предсказуема в сообщении. Примером этого является избыточность языка. Имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т.д.

14.11.13.

Бинарная энтропия.

В общем случае b-нарная энтропия (где b=2,3,.....) источника Sсигма(S,P), с исходным алфавитом S{a₁....a_n} и дискретным распределением вероятности P={p₁......p_n}, где p_i является вероятностью a_i, то есть p_i=p(a_i).

Определяется формулой

n

H

I=1

_b(S_сигма)=- ∑ p_i log_b p_i.

Получение какого либо количества информации равно потерянной энтропии.

Условная энтропия

В теории информации условная энтропия определяет количество остающейся энтропии (то есть остающейся неопределенности) случайной величины кси (ξ) после того как распределение второй случайной величины это (υ) H становится известным.

Она называется энтропия кси (ξ) при условии H, и обозначается H(ξ|υ). Как и другие энтропии условная энтропия измеряется в битах (двоичные единицы), натах (натуральные единицы), или банах (Харлевских единицах).

Если следование символов алфавита не независимо, количество информации которую несет последовательность таких символов а следовательно и энтропия очевидно меньше. Для учета таких фактов используется условная энтропия.

Взаимная энтропия

Взаимная энтропия или энтропия объединения предназначена для расчета энтропии взаимосвязанных систем. (Энтропии совместного появления статистических зависимых сообщений) и обозначается H(AB) где A - всегда характеризует передатчик, а B - приемник.

Свойства: (всех видов энтропий)

Важно помнить что энтропия является количеством определенном в контексте вероятностной модели для источника данных. Например кидание монеты имеет энтропию равную -2(0,5log₂0,5)=1 биту на 1 кидание (при условии его независимости).

У

∞

источника который генерирует строку состоящую только из букв A.

I=1

- ∑ log₂1=0.

Опытным путем можно установить что энтропия английского типа будет равна 1,5 бита на символ что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных требуемых для её шифровки без потери информации при оптимальном кодировании.

1) Некоторые биты данных могут не нести информации, например структуры данных часто хранят избыточную информацию или имеют идентичные секции не зависимо от информации в структуре данных.

2) Количество энтропии не всегда выражается целым числом бит.

Эффективность

Исходный алфавит встречающийся на практике имеет вероятностное распределение которое далеко от оптимального. Если исходный алфавит имел n символов тогда он может быть сравнен с оптимизированным алфавитом, вероятностное распределение которого однородно.

Соотношение энтропии исходного и оптимизированного алфавита это эффективность исходного алфавита которое может быть выражено в процентах.

Энтропийное кодирование - кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объема данных (длинны последовательности) с помощью усреднения вероятностей появления элементов в закодированной последовательности.

21.11.13.

Различают несколько вариантов кодов:

1) Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности.

Чем больше вероятность появления исходного элемента тем короче соответствующая результирующая последовательность.

Примером могут служить - код Шеннона - Фано, код Хаффмана.

2) Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности (код Танстола).

3) Другие структурные коды основанные на операциях с последовательностью символов. Примером является кодирование длин серий.

4) Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статистический код, такой как унарное (одиночное) кодирование, код Фибоначчи, и т.д.

Согласно теореме Шеннона существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуемы получаемые данные, тем лучше их можно их сжать.

Случайная независимая равновероятная последовательность сжатию без потерь не поддается.