2.3 Ентропія об’єднання

Ентропія об’єднання використовується для обчислення ентропії сумісного появлення статистично залежних повідомлень. Н(А,В) – невизначеність того, що буде послано А, а прийнято В. Для ансамблів переданих повідомлень А і прийнятих повідомлень В ентропія об’єднання являє собою суму вигляду

Н(А,В)=-р(а_i,b_j)log₂p(a_i,b_j)біт/два символи. (2.9)

i j

Ентропія об’єднання і умовна ентропія пов’язані між собою такими співвідношеннями:

Н(А,В) = Н(А) + Н(В/А) = Н(В) + Н(А/В),

Н(В/А) = Н(А,В) – Н(А); Н(А/В) = Н(А,В) – Н(В).

Ентропія об’єднання може бути підрахована за допомогою матриці вигляду

|p(a₁,b₁) p(a₁,b₂)…p(a₁,b_m) |

p(a_i,b_j) = |p(a₂,b₁) p(a₂,b₂)…p(a₂,b_m) |

|…………………………. .|

|p(a_m,b₁) p(a_m,b₂)…p(a_m,b_m)|

Така матриця має особливу властивість:  p(a_i,b_j) = p(b_j);  p(a_i,b_j) = p(a_i), при цьому  p(a_i) =  p(b_j) = 1. Ця властивість дозволяє обчислювати ентропію за формулами

H(A)=-p(a_i,b_j)logp(a_i,b_j), (2.10)

i j j

H(B)=-p(a_i,b_j)logp(a_i,b_j). (2.11)

i j i

Підсумoвування проводиться по i та j, тому що для визначення безумовних імовірностей необхідно підсумовувати їх по одній координаті, а для визначення Н підсумовування проводиться по другій координаті.

Умовні ймовірності вигляду p(ai/bj) I p(bj/ai) обчислюються як

p(a_i/b_j)=p(a_i,b_j)/p(a_i,b_j);p(b_j/a_i)=p(a_i,b_j)/p(a_i,b_j). (2.12)

i j

Кількість інформації на символ повідомлення, переданого по каналу зв’язку, обраховується таким чином:

І(А,В)=Н(А)+Н(В)– Н(В,А). (2.13)

3. Диференціальна ентропія

Диференціальна ентропія як ентропія неперервного джерела інформації. Властивості диференціальної ентропії. Епсилон-ентропія випадкової величини.

3.1. Диференціальна ентропія

Невизначеність вибору значення неперервної випадкової величини пов’язана зі щільністю розподілення імовірності цих значень. За міру невизначеності неперервного джерела приймається величина h(U)

h(U)= -p(u)logp(u)du, (3.1)

де U – значення неперервної випадкової величини; p(u) – щільність розподілення імовірностей значень випадкової величини.

Для визначення міри використовується тільки функція щільності імовірності, тобто диференціальний закон розподілення, тому міра невизначеності неперервного джерела називається відносною диференціальною ентропією або просто диференціальною ентропією неперервного джерела інформації (неперервного розподілення випадкової величини U). Її можна розуміти як середню невизначеність вибору випадкової величини з довільним законом розподілення в порівнянні з середньою невизначеностю вибору випадкової величини, яка змінюється в одиничному діапазоні і має рівномірне розподілення.

Диференціальна умовна ентропія h_V(U) визначається по співвідношенню:

H_V(U)=p(uv)log[p(uv)/p(v)]dudv. (3.2)

Вона характеризує невизначеність вибору неперервної випадкової величини U при умові, що відомі результати реалізації значень іншої статистично пов’язаної величини V, і порівняно з середньою невизначеністю вибору випадкової величини, яка змінюється в одиничному діапазоні і має рівномірне розподілення ймовірностей.

До основних властивостей диференціальної ентропії відносяться:

1.Диференціальна ентропія на відміну від ентропії дискретного джерела є відносною мірою невизначеності. Її значення залежать від масштабу випадкової величини. З відносності диференціальної ентропії випливає, що вона може приймати додатні, від’ємні і нульові значення.

2.Диференціальна ентропія не залежить від конкретних значень випадкової величини і, зокрема, від зміни всіх її значень на сталу.

3.Якщо єдиним обмеженням для випадкової величини U є область можливих значень [,], то максимальна диференціальна ентропія буде при рівномірному розподіленні імовірностей в цій області. Тобто при

p(u)=1/(-),  u . (3.3)

диференціальна ентропія буде максимальною

h(U)=log(-). (3.4)

Якщо обмеження на область значень неперервної випадкової величини відсутні, проте відомо, що дисперсія її обмежена, то максимальна диференціальна ентропія буде при нормальному розподіленню випадкової величини. Тобто при гаусовій щільності розподілення максимальне значення диференціальної ентропії

h_max(U)=log₂2e (3.5)

4.Співвідношення для диференціальної ентропії об’єднання статистично залежних неперервних джерел аналогічні відповідним формулам для дискретних джерел:

h(UV)=h(U)+h_U(V)=h(V)+h_V(U), (3.6)

де h(UV)= -   p(uv) log p(uv) dudv.