Условная энтропия непрерывной системы

Пусть имеется две системы: X и Y, они взаимозависимы и непрерывны.

f(x, y) – плотность распределения для состояния определнной системы.

f₁(x) – плотность распределения системы X.

f₂(y) – плотность распределения системы Y.

f(y/x), f(x/y) – условная плотность распределения. Имея эти плотности, можно определить

условную энтропию.

Частная условная энтропия

Полная средняя условная энтропия получившаяся в результате осреднения

Для непрерывных систем – энтропия совместимых систем равна сумме энтропий.

H(x, y) = H(x) + H(y / x)

Пример: Найти энтропию непрерывной системы X, все состояния которой на участке от доравновероятны.

H^* = =

Пример: Для нормального закона распределения.

H(x) =

Подставляем f(x) и log в интеграл, получим после вычисления

Проводимые исследования различных законов распределения показали, что наилучшим законом распределения является равномерный закон. Если накладываются ограничения - мощность сигнала равная постоянной величине, - наилучшим законом распределения является нормальный.

Количественное определения избыточности

Наличие вероятностных зависимостей между элементами сообщения уменьшает количество информации, приходящейся на каждый элемент сообщения.

Пример, который подтверждает справедливость данного утверждения.

Пример: Пусть имеется два элемента a, в. Рассмотрим случаи передачи информации с помощью этих элементов:

1) Элементы независимы и равновероятны

1 бит/символ m – количество переданных символов

2. Элементы независимы и неравновероятны

бит/символ

3. Элементы взаимозависимы и равновероятны

p(a) = p(b) = ½

Пусть p(a / a) = p(b / b) = p₁ – вероятность повторения символов

p(a / b) = p(b / a) = p₂ - вероятность чередования символов

p1,p2	½, ½	¼, ¾	1/8, 4/8	0, 1
	1	0.815	0.541	0

4. Элементы взаимозависимы и неравновероятны

p(a) = ¾; p(b) = ¼

p(a / a) = 2/3 p(b / a) = 1/3

p(a / b) = 1 p(b / b) = 0

I^| = =0.685бит/символ

Пусть передаётся сообщение из n взаимозависимых и не равновероятных элементов.

I = n * I^|

Если устранить внутренние вероятностные связи, то информация возрастёт до максимального значения I_max . При этом тоже количество информации может содержаться в сообщении из меньшего числа элементов n_0.

В данном случае мерой избыточности может служить относительное число лишних элементов. Обозначим избыточность символом D.

- мера избыточности

Если принять, что избыточность определяется только взаимосвязью элементов, то

Если принять, что избыточность определяется только распределением вероятностей, то в качестве , m –количество элементов

Таким образом, выделяют две частных избыточности:

1. Частная избыточность, обусловленная взаимосвязью между элементами

2. Частная избыточность, зависящая от распределения вероятностей

m – количество символов алфавита

3. Выделяют полную информацию избыточность

D = D_p + D_s – D_pD_s D_p + Вы

Рассмотрим основные цифры и порядки для рассмотрения примера

- относительная величина

D_s * D_p = 0.03 принебрегаем

Пример избыточности в нашем языке можно проиллюстрировать следующими цифрами. Если бы все комбинации букв были возможны, то имея 30 букв, можно было бы составить 30¹ = 30 однобуквенных слов. 30² = 900 – двухбуквенных слова. 30³ = 27 000 – трёхбуквенных слова. 30⁴ = 810 000 – четырёх буквенных слова.

Обычный язык содержит 50 000 слов, т.е. среднее число букв в слове, составляет примерно 3,5. В обычном в языке среднее число букв в слове семь, следовательно, возможные комбинации 30⁷= 21 * 10⁹- столько слов можно было бы иметь, следовательно, количество букв, которые являются словами = .

Один из методов борьбы с избыточностью применение неравномерных кодов. Метод построения оптимального неравномерного кода Шеннона - Фана. Пусть в алфавите имеется n букв и вероятности появления этих букв. Расположим эти буквы в порядке убывания их вероятностей. Затем разбиваем их на две группы так, чтобы суммарная вероятность в каждой группе по возможности была одинаковой (верхнюю группу кодируем единицей, а нижнюю нулём). Это будет первый символ кода. каждую из полученных групп делим снова на две части возможно близкой к суммарной вероятности, присваиваем каждой группе двойной символ: (один или ноль). Процесс деления продолжаем, пока не придём к первой группе.

Пример: Данный алфавит, содержит шесть букв.

Буква	Вер-ть	1	2	3	4
a1	0.4	1
a2	0.2	0	1
a3	0.2	0	0	1
a4	0.1	0	0	0	1
a5	0.05	0	0	0	0	1
Длина буквы a6	0.05	0	0	0	0	0

В случае равномерного кодирования потребовалось бы три бита (2³ = 8).

Для данного кода

Длина буквы

бит/символ

Подсчитаем энтропию данного алфавита

бит/сим

m – количество символов вторичного алфавита

Если вторичный алфавит – двоичный, то m = 2, следовательно .

Пример: Задан алфавит из восьми букв и вероятности их появления. Построить оптимальный неравномерный код Шеннона-Фана.

Буква	Вер-ть	1	2	3	4
a1	0.25	1	1
a2	0.25	1	0
a3	0.125	0	1	1
a4	0.125	0	1	0
a5	0.625	0	0	1	1
a6	0.625	0	0	1	0
a7	0.625	0	0	0	1
a8	0.625	0	0	0	0

бит

бит/символ

Коэффициент статического сжатия

Коэффициент общей эффективности

К_СС и К_ОЭ характеризуют оптимальность алфавита

Пример: Построить оптимальный код Шеннона-Фана.

Буква	Вер-ть	1	2	3	4
а1	0.25	1	1
а2	0.25	1	0
а3	0.25	0	1
а4	0.1	0	0	1
а5	0.1	0	0	0	1
а6	0.5	0	0	0	0

l_ср = 2.4 бит

бит/символ – т.к. разделили неравномерно три столбца, лучше не получиться.