8. Статистически зависимые источники сообщений

Перейдем к рассмотрению более сложных случаев передачи сообщений, которыми занимается теория информации. Рассматривая выше дискретные или непрерывные источники, мы полагали, что в этих источниках передача сообщений происходит независимо, в то время как в реальных случаях появление сообщения часто зависит от предыдущего сообщения.

Если взять человеческую речь, то понятно, что появление букв нельзя охарактеризовать как независимые события. Буквы зависят от того, какие буквы были перед ними.

Слова так же имеют определенную связь по отношению с предыдущими словам. Это непростые процессы, но они встречаются в реальности. Теория информации должна их объяснять. Часто работает не один источник информации, а два или более, и эти источники могут также работать в зависимости друг от друга.

Рассмотрим случай, когда два дискретных источника сообщений вырабатывают сообщения: х₁, х₂, … х_m и y₁, y₂, … y_n

Каждый из этих источников формирует эти сообщения с соответствующими вероятностями. Каждому сообщению первого источника соответствуют определенные вероятности , а каждому сообщению второго источника -вероятности .

Рассмотрим появление сообщения второго источника, статистически зависимое от сообщения первого источника. Статистическую зависимость будем отображать в виде условной вероятности , дающей количественную оценку вероятности того, что вторым источником будет сформировано сообщение при условии, что первым источником было образовано сообщение .

Полная количественная оценка условных вероятностей дается в таблице 5

Таблица 5

(Часто данные табл.5 записывают в виде матрицы условных вероятностей)

Источники описываются ансамблями, т.е. сообщениями и вероятностями их появления. При статистической зависимости нам необходимо дополнительно указать условные вероятности.

Таким образом, для описания двух источников, вырабатывающих статистически зависимые сообщения, помимо распределения вероятностей, характеризующей каждый из источников, нам необходимо знать условные вероятности того, как статистически связано каждое сообщение второго источника y_j с предыдущим сообщением, вырабатываемым первым источником x_k.

Очевидно должно выполняться условие нормировки, а именно, сумма всех условных вероятностей , при условии, что было выработано первым источником сообщение x_k равна 1.

(27)

Условие выполняется для всех суммируемых вероятностей j от 1 до .

В общем случае величина n, характеризующая количество сообщений второго источника, не совпадает с m, т.е. с количеством сообщений первого источника.

Бывают случаи, когда m=n, но в общем случае совпадений нет.

p(x_k) – вероятность элемента x_k в сообщении A или в сообщении от первого источника.

p(y_j) – вероятность элемента y_j в сообщении B или в сообщении от второго источника.

Частная условная энтропия, которая характеризует появление всех возможных элементов y_j в сообщении В при условии, что в сообщении А был элемент x_k, можно вычислить по формуле:

(28)

Суммирование ведется по всем j от 1 до n, где n-число возможных сообщений, вырабатываемых вторым источником

Общая условная энтропия будет характеризовать все возможные случаи с учетом появления разных элементов x_k в сообщении А и последующего появления различных элементов y_j в сообщении В.

. (29)

Суммирование осуществляется при вычислении произведения вероятности появления элемента x_k в сообщении А (от 1-го источника) на значение частной условной энтропии, вычисляемой по формуле (28).

Из теории информации нам известно, что вероятность совместного появления элемента x_k и y_j может быть оценена как произведение вероятности появления элемента x_k, умноженной на вероятность появления элемента y_j при условии, что появился элемент x_k. Либо произведение вероятностей появления элемента y_j на условную вероятность того, что появился элемент x_k при условии появления y_j . Запишем это

(30)

Данное соотношение позволяет в более компактном виде записать общую условную энтропию из (29):

(31)

Исследуем свойства энтропии, характеризующей источники сообщений в случае, если сообщения вырабатываемые данными источником, являются статистически зависимыми, или, если рассматриваются несколько статистически зависимых источников.

Следуя формальному определению энтропии, можно записать, что энтропия объединения статистически зависимых сообщений может быть вычислена по формуле:

(32)

При этом энтропия объединения статистически зависимых сообщений может быть рассчитана исходя из соотношений с энтропией каждого источника в отдельности или условной энтропии или .

(33)

Это общее соотношение может иметь более простое толкование, если вернуться к случаю статистически зависимых сообщений. Если отсутствует статистическая зависимость, то объединение может быть оценено суммой энтропий двух источников.

, (34)

т.к. при отсутствии статистической связи .

Если существует полная (или абсолютная) статистическая зависимость, то условные энтропии равны нулю.

(35)

Это соответствует нашим представлениям о том, что любое сообщение, если оно заранее известно, обладает нулевым количеством информации.

После знакомства с основами теории информации, перейдем к рассмотрению практических приложений.