2.Энтропия совокупности двух сообщений, условная энтропия, их свойства.

Понятие условной энтропии связано с понятием энтропии марковского процесса - иначе говоря изначально рассматривается вероятность появления некоторого сообщения, с учётом того, что известно о появлении некоторого другого сообщения. Условная энтропия источника S c Si символами задаётся выражением:

H(S|Si1,Si2....,Sim)=E(s)(P(Si|Si1,Si2......Sim)*log[2](1/P(Si|Si1,Si2......Sim)))

- в данном случае записана формула для энтропии дискретного источника при условии, что мы уже наблюдали последовательность символов (Si1,Si2......Sim).

Если рассматриваются две статичтически зависиые величины, то энтропия объединения двух статистически связанных переменных величин равна сумме энтропии первого ансамбля и энтропии второго относительно первого. ((добавить формулы) см. формулы в лекциях.)

Свойства условной энтропии - 1) Условная энтропия всегда меньше или равна безусловной для той же функции распределения вероятностей, это связано с тем, произведением вероятностей (Si1,Si2......Sim). 2) Если имеется однозначная связь межнду появлением некоторой последовательности сообщений (условием) и появлением некоторого другого сообщения, то ксловная энтропия при налии данного условия становится равной нулю. 3) Если статистические связи между двумя переменными величинами отсутсвуют, то условнаяэнтропия их объединения не будет меньше безусловной энтропии их\ объединения.

3. Взаимная информация двух сообщений.

а рис.3 показана(условно) собственная энтропия H(x) и H(y), условные энтропии H(x/y) и H(y/x) и совместная энтропия H(x,y). Из этого рисунка, в частности, следует соотношения   и  

Рис. 3

Рис. 4

Часть рисунка, отмеченная штриховкой, называется взаимной информацией H( ). Она показывает, какое(в среднем) количество информации содержит сообщение x о сообщении y(или наоборот, сообщение y о сообщении x).

Как следует из рис. 3

H(x↔y)=H(x)-H(x/y)=H(y)-H(y/x) (20)

Если сообщения x и y полностью независимы, то взаимная информация отсутствует и H(x )=0. Если x и y полностью зависимы (x и y содержат одну и ту же информацию), то H( )=H(x)=H(y). Понятие взаимной информации очень широко используется в теории передачи информации. Требования к взаимной информации различны в зависимости от того, с какой информацией мы имеем дело. Например, если x и y – это сообщения, публикуемые различными газетами, то для получения возможно большей суммарной(совместной) информации взаимная (т.е. одинаковая в данном случае) информация должна быть минимальной. Если же x и y – это сообщения на входе и на выходе канала связи с помехами, то для получения возможно большей информации её получателем необходимо, чтобы взаимная информация была наибольшей. Тогда условная энтропия H(x/y) – это потери информации в канале связи (ненадёжность канала). H(x/y) – энтропия шума(помех) равная H(ξ), т.е. H(y/x)=H(ξ) .

4.Производительность источника дискретных сообщений.

Мера избыточности показывает, насколько полно (эффективно) используются знаки данного источника Избыточность источника - следствие физических свойств источника. Естественная избыточность источника устраняется, а в случае необходимости увеличения помехоустойчивости при передаче сообщений вводится так называемая рациональная избыточность, позволяющая обнаружить и устранить ошибки.

Производительность источника сообщений - количество информации, вырабатываемое источником в единицу времени (скорость создания сообщений, поток входной информации).

Наибольшая производительность источника будет достигаться при максимальной энтропии.

5.Избыточность источника.

6.Максимальная скорость передачи информации по двоичному симметричному каналу.

8.2 Эффективное кодирование источников дискретных сообщений Теорема Шеннона о кодировании сообщений при отсутствии помех.

Неравномерные коды.

Код Шеннона – Фано.

8.3 Информационные характеристики непрерывных сообщений

1.Энтропия непрерывного сообщения.

Строго говоря, энтропия непрерывных сообщений ( сигналов) равна бесконечности, так как бесконечно количество возможных значений сигналов, его логарифм и неопределенность выбора значений случайной величины. Поэтому вероятность возникновения отдельной реализации бесконечно мала, а ее информативность бесконечно велика.

2. Дифференциальная энтропия.

3. Свойства дифференциальной энтропии.

1. Дифференциальная энтропия в отличии от обычной энтропии дискретного источника не является мерой собственной информации, содержащейся в ансамбле значений случайной величины Х. Она зависит от масштаба Х и может принимать отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и объясняется ее название. 2. Дифференциальная энтропия не меняется при изменении всех возможных значений случайной величины Х на постоянную величину. Действительно, масштаб Х при этом не меняется и справедливо равенство

(3.36)

Из этого следует, что h(x) не зависит от математического ожидания случайной величины, т.к. изменяя все значения Х на С мы тем самым изменяем на С и ее среднее, то есть математическое ожидание. 3. Дифференциальная энтропия аддитивна, то есть для объединения ХY независимых случайный величин Х и Y справедливо: h(XY)= h(X)+ h(Y). Доказательство этого свойства аналогично доказательству (1.8) аддитивности обычной энтропии