Непрерывные случайные величины

Энтропия непрерывной случайной величины

, (1.8)

где p(x)  плотность вероятности случайной величины X;  шаг ее квантования, определяющий точность перехода от непрерывной величины к дискретной.

При x=1 имеем дифференциальную или относительную энтропию

. (1.9)

Энтропия системы непрерывных случайных величин X и Y

, (1.10)

где p(x,y)  совместная (безусловная) плотность вероятности двух случайных величин X и Y.

Дифференциальная энтропия системы двух случайных величин

, (1.11)

Условная дифференциальная энтропия X относительно Y

, (1.12)

где p(x/y)  условная плотность вероятности.

Условная дифференциальная энтропия величины X относительно значения y величины Y

. (1.13)

Условная энтропия Y относительно X

. (1.7)

Избыточность

Минимально возможное количество элементов, которым можно передать сообщение от источника достигается при равенстве вероятностей всех сообщений. Количество бит, соответствующих максимальной энтропии, обозначим К и будем называть информационными битами или битами сообщения. Если источник содержит N=2^k состояний, то 2^k сообщений можно передать К битами. Обычно в процессе кодирования к К добавляют некоторое количество избыточных бит r:

r=n-k

n-количество бит передаваемого сообщения. Если n>k, то сигнал обладает избыточностью R

R=(n-k)/n=r/n=1-(k/n),

Где r – число избыточных разрядов

1. R<1;

2. избыточность показывает, на какое число элементов (элементарных сигналов) можно сократить (сжать) исходный сигнал.

Всякое укорочение сигнала является важным результатом для любой системы. Чем короче сигнал, тем выше скорость передачи информации, меньше вероятность искажения сигнала, больше его мощность, меньше материальные расходы.

Роль избыточности при передаче информации

Если информация передается по каналу связи, в котором отсутствуют помехи, то избыточность является ненужной. В этом случае при использовании избыточного канала бесполезно увеличивается время передачи информации, и она приходит к получателю с запозданием.

Однако практически все реальные каналы связи имеют помехи. Наличие помех характерно особенно для протяженных каналов. Если R = 0, то есть все элементы являются информационными, то при искажении любого символа будем иметь другое сообщение. Если же сигнал избыточный, то часть символов можно использовать для увеличения его помехоустойчивости.

В канале может быть искажено от одного до нескольких символов. Неизбыточный сигнал ни при каких условиях не может способствовать обнаружению даже одиночной ошибки, не говоря уже о ее исправлении, для получения такой возможности надо обязательно использовать избыточный сигнал. При этом избыточность вводится намеренно в исходный неизбыточный сигнал в количестве, зависящем от конечной цели. Целью является обнаружение и (или) исправление определенного количества ошибок. Существует специальная теория построения избыточных сигналов, называемая теорией помехоустойчивого кодирования.

Среднее количество информации в русском языке

1. Среднее количество информации в бит/знак для русского языка, в предположении, что все 32 буквы появляются с равной вероятностью:

H_max= -Σ 1/32 log1/32=5 бит/знак

2. Поскольку буквы появляются с различной частотой, то 5 бит/знак – это верхняя граница информации на знак. Вероятности некоторых букв имеют значения: 0-0,11; e-0,087; p-0,048; 0-0,002 и т. д.Энтропии символов с учётом различной степени зависимости будут следующие:

• При различной вероятности букв H_без =4,39 бит/знак

• С учётом корреляции двух символов H=3,52 бит/знак

• С учётом корреляции между 8-ми символами H=2 бит/знак

Избыточность при этом составит:

R=(5-2)/5=0,6

Приблизительно такое значение избыточности соответствует всем европейским языкам.

Задания и методические рекомендации

1. Сформировать выборку наблюдаемых значений случайной величины N>100.

2. Построить закон распределения случайной величины.

3. Считая каждое значение случайной величины сообщением, найти среднее количество информации в сообщении.

4. Найти избыточность источника.

Оформление результатов

1. Экспериментальный закон распределения источника (гистограмма, функция распределения).

2. Расчёт безусловной энтропии (формула Шеннона).

3. Расчёт максимальной энтропии.

4. Расчёт избыточности.

Контрольные вопросы

1. В чём состоит различие в понятиях «энтропия» и «информация»?

2. В чём смысл формулы Шеннона?

3. Формула Хартли. Как понимать дробное значение результата, полученного по формуле Хартли?

4. Какова роль избыточности в сообщениях?

5. Как Вы представляете устройство, хранящее 1 бит информации?

6. Что необходимо учитывать при выборе способа измерения количества информации?

7. В каких единицах измеряется количество информации?

8. Дайте определение энтропии.

9. Назовите основные свойства энтропии дискретного ансамбля.

10. Как связаны между собой понятия количества информации и энтропии?

11. В чем различаются понятия частного и среднего количества информации?

12. Когда энтропия источника с двумя состояниями достигает максимума?

Литература