3.1.3.1 Взаимная информация двух ансамблей

Справа в выражении I_i (j) = log{[p_ij]/[p_j p_i]} мы имеем симметричную относительно индексов i и j дробь, что означает её независимость от переста- новки этих символов и такую же независимость формулы, вообще. Это, в свою очередь означает I_i(j) = log{[p_ij]/[p_j p_i]} =I_j(i) или I_i(j) =I_j(i). В

упрощённой, независимой от роли (смысла) символа, форме это можно представить так: I (ij) =I (ji).

Этот интересный в теоретическом плане результат, означает, что в символе y_j одного ансамбля содержится столько же информации о символе x_i другого ансамбля и наоборот. Потому и называется эта информация взаимной.

Применительно к каналу это выглядит равенством вероятности принять символ y_j при передаче символа x_i и вероятности того, передавался символ x_i, если был при принят символ y_j. Следовательно, p_j⁽ⁱ⁾ = p_i ^(j) .

В практическом плане больший интерес представляют не такие вот «индивидуальные» для каждого символа показатели, а характеристики канала в целом. Такие характеристики можно получить известными методами усреднения – методами оценки математического ожидания на множестве таких «индивидуальных» показателей. В нашем случае речь идёт о множестве возможных сочетаний мощностью iхj.

В соответствии с правилами нахождения математического ожидания, производим суммирование по двум индексам – по всем возможным сочетаниям i и j.

I_i(j) = log{[p_ij]/[p_j p_i]} = log[p_ij] – logp_j – log p_i] =

(учитываем, что logp_ij = logp_i+ logp_j⁽ⁱ⁾, ибо p_ij = p_i p_j ⁽ⁱ⁾_, что

тоже учитываем в первом же слагаемом)

= p_i p_j ⁽ⁱ⁾logp_j ⁽ⁱ⁾ + logp_i –logp_i –logp_j =

(далее учитываем = p_i и обозначим:h_j⁽ⁱ⁾= p_j ⁽ⁱ⁾logp_j⁽ⁱ⁾

= p_ih_j⁽ⁱ⁾ –p_jlogp_j = Н(j)– Н_i(j). Здесь учено ещё, что

Н(j) = –p_j logp_jи впервые обозначено

Н_i(j) = –p_ip_j ⁽ⁱ⁾logp_j ⁽ⁱ⁾. (III. 3)

Таким образом, мы получили выражение для оценки количества взаимной информации во взаимосвязанных исходных ансамблях, которое применительно к каналу позволяет вычислить среднее количество информации, проходящей через канал помехами с каждым поданным на его вход символом исходного алфавита:

I(ij) = I(ji) =I_i(j) = Н(j) – Н_i(j). (III. 4)

3.1.3.2 Условная энтропия дискретных ансамблей

Применительно к абстрактным объёдинениям ансамблей типа {x_iy_j} величина I (ij) =I(ji) = Н(j) – Н_i(j) называется взаимной информацией двух исходных ансамблей друг относительно друга. Величина Н_i(j) (нам она до сих пор не встречалась) представляет собой усреднённую на всём множестве парных сочетаний типа (x_iy_j)_k, частную энтропию h_j⁽ⁱ⁾= –p_j⁽ⁱ⁾logp_j⁽ⁱ⁾, которая сама по себе (ещё не усреднённая) характеризует разнообразие по индексу j подмножества таких сочетаний с одинаковым индексом i.

Усреднённая частная энтропия Н_i(j) = –p_j⁽ⁱ⁾logp_j⁽ⁱ⁾ уже не является характеристикой такого подмножества, она теперь является характеристикой объёдинённого ансамбля типа {x_iy_j} в целом (множества возможных сочетаний типа (x_iy_j)_k). Называется эта новая характеристика условной энтропией объединённого ансамбля. У объединённого ансамбля таких параметров столько же, сколько исходных ансамблей он в себя вобрал.

В данном случае существует ещё Н_j(i) = –p_j p_i^(j)logp_i^(j)

(наряду с Н_i(j)= –p_ip_j⁽ⁱ⁾logp_j⁽ⁱ⁾), выражение для которой можно получить только что продемонстрированным способом из того же самого симметричного соотношения I_i(j) =log{[p_ij]/[p_j p_i]}, заменив в самом начале не произведением p_ij = p_i p_j⁽ⁱ⁾, а равноценным ему: p_ij = p_j p_i ^(j).

В итоге можно получить соотношение:

I (ij) = Н(i) – Н _j(i). (III. 5)

Существование пары соотношений:

I (ij) = Н(i) – Н _j(i) и I (ji) = Н(j) – Н_i(j) позволяет при расчетах, когда это полезно, заменять одно такое выражение другим.

Далее внимательно приглядимся к выражению для условной энтропии, например Н_i(j) = –p_ip_j ⁽ⁱ⁾logp_j ⁽ⁱ⁾

Если возвратиться к соотношениям:

p_ij = p_i p_j ⁽ⁱ⁾, и logp_j ⁽ⁱ⁾ = logp_ij – logp_i , то

Н_i(j) = –p_ij log p_ij +p_ij logp_i. Учитываем, что

p_ij = p_i и p_ijlogp_i =p_ilogp_i = – Н(i), а –p_ijlogp_ij = Н(ij).

Окончательно имеем: Н_i(j) = Н(ij) – Н(i). (III. 6)

Начав аналогичные преобразования с Н_j(i), мы могли бы получить.

Н_j(i) = Н(ij) –Н(j). (III. 7)

Оба эти соотношения могут быть представлены в другой форме:

Н(ij) = Н_j(i) + Н(j) (III. 8)

и Н(ij) = Н_i(j) + Н(i). (III. 9)

Сопоставим это с полученным выше неравенством Н(ij)Н(i)+Н(j), например, отнимем (столбиком) от него поочерёдно каждое их этих соотношений.

Н(ij)Н(i) + Н(j). Н(ij)Н(i) + Н(j).

– [Н(ij) = Н(j)+ Н _j(i)]. – [Н(ij) = Н_i(j) + Н(i) ]

=0 Н(i) – Н _j(i) = 0 Н(j) – Н_i(j)

Н(i) Н _j(i) Н(j) Н_i(j)

Совместно с выражениями I(ij)= Н(i) – Н_j(i) и I(ji)=Н(j)–Н_i(j), представленные неравенства говорят о том,

- что источником взаимной информации являются разнообразия исходных ансамблей и связи между их;

- что при отсутствии взаимных связей между элементами исходных

ансамблей (когда Н(ij)=Н(i) + Н(j) и Н(i) = Н _j(i) – никакой взаимной информации быть не может, ибо

I (ji) = Н(j) – Н_i(j) = Н(i) – Н _j(i) = I (ji) =0;

- что с появлением и постепенным ростом упомянутых выше взаимных связей количество информации в каждом элементе одного ансамбля об определённом элементе другого ансамбля возрастает.

В применении к каналу всё сказанное легко интерпретируется и означает:

- что в какой-то момент времени помехи в канале велики на столько, что ансамбль символов на выходе абсолютно не реагирует на репертуар входа (Н(j) Н_i(j)), и выходной репертуар полностью определяется самим каналом,

- что количественной мерой этого исходного разнообразия оказывается условная энтропия Н_i(j));

• что с уменьшением уровня помех некоторые входные символы

проходят канал без искажений (появляется

I (ji) = Н(j) – Н_i(j) = Н(i) – Н _j(i) = I (ji), которая вносит в репертуар

на выходе большую долю определённости)

- что с резким уменьшением помех ансамбль выходных символов канала все больше и больше становится похожим на ансамбль входных символов, а (I(ji) растёт, приближается к энтропии входного ансамбля Н(i) и репертуар выхода начинает дублировать репертуар входа).