Особливості обчислень к-ті інформації при передачі повідомлень через дискретні канали зв’язку

Практично не існує дискретних каналів зв’язку без завад або апаратурних помилок чи відмов, тому задача визначення к-ті ін-ї або інформаційних втрат при передачі повідомлень через канали зв’язку із завадами є однією з центральних задач теорії інформації(ТІ).

Для визначення кількісних показників при передачі повідомлень у таких каналах доцільно використовувати умовну ентропію.

A -> {a₁, a₂, … a_m з ймовірностями р(a₁), р(a₂), … р(a_m)} -> H(B/a_i);

а елементи приймача повідомлень В:

B -> {b₁, b₂, … b_m з ймовірностями р(b₁), р(b₂), … р(b_m)} -> H(A/b_i);

Часткова умовна ентропія Н(b/a­­_i) виражає невизначеність того, що відправивши а_і-тий символ ми дійсно отримуємо р_і-й символ. А умовна ентропія Н(А/b_i) виражає невпевненість яка залишається після отримання b_i в тому, що дійсно було відправлене а_і.

Отже, якщо посилається a­­_i і в каналі зв’язку є завади, то з різною мірою ймовірності може бути прийнятий сигнал b_j (при j = від 1 до m і навпаки) прийнявши символ b_j, можна з різною ймовірністю вважати, що б-я із символів а_і(при і = від 1 до m).

Якщо вважати канал зв’язку ідеальним, то завжди а₁ = b₁ і т.д. При ідеальному каналі зв’язку ентропія дж. повідомлення: Н(А) = Н(В) = ентропії приймача.

Отже канал зв’язку із завадами знищує або спотворює частину ін-ї що передається. Всі інформаційні втрати повністю описуються через часткову та загальну умовну ентропію. Обчислення цих ентропій зручно проводити за допомогою канальних матриць.

Канальна матриця означає, що вона статично описує ймовірнісні характеристики каналу зв’язку.

Канал зв’язку може описуватися зі сторони джерела повідомлень, тобто відомі символи, що передаються та ймовірність того, що передача символу а_і через канал зв’язку з завадами отримає символ b_j(позначається через відповідну умовну ймовірність р(b_j/а_і)). Тоді канальна матриця буде мати вигляд таблиці 1.

	b1	…	bj	…	bm
a1	p(b1/a1)	…	p(bj/a1)	…	p(bm/a1)
…	…	…	…	…	…
ai	p(b1/ai)		p(bj/ai)	….	p(bm/ai)
…	…	…	…	…	…
am	p(b1/am)	…	p(bj/am)	…	p(bm/am)

Ймовірності по діагоналі визначають ймовірності правильного приймання символів. Всі інші ймовірності показують хибне приймання символів. Проходження певного символу через канал зв’язку такого типу описується розподілом ймовірності(1). Сумування проводиться по j, оскільки і-тий стан є постійний, так як символи, які передаються, нам відомі. На основі цієї матриці можна вирахувати втрати інформації, які припадають на а_і-й символ за допомогою часткової умовної ентропії.

∑_j p(b_j/a_i) = 1; (1)

Умовна часткова ентропія для а₁ записана через вираз (2).

H(B/a₁) = ∑_j p(b_j/a₁)log p(b_j/a_i); (2)

Аналогічно вираховується часткова умовна ентропія для усіх інших символів від а₂ до а_m.

Втрати інформації при усіх символах повідомлення також можна описати за допомогою загальної умовної ентропії. У випадку нерівноймовірнісної появи символів на виході джерела повідомлень враховується ймовірність появи а_і. Вона перемножується на відповідну умовну часткову ентропію, тому загальна умовна ентропія обчислюється виразом (3).

H(B/A) = -∑_i∑_j p(a_i) p(b_j/a_i) log₂(p(b_j/a_i)); (3)

У випадку рівноймовірної появи символів загальна умовна ентропія обчислюється виразом (4).

H(B/A) = -(1/m)∑_i∑_j p(b_j/a_i) log₂(p(b_j/a_i)); (4)

Якщо дослідити канал зв’язку збоку приймача повідомлень, коли відомі прийняті символи b_j і припускаємо, що при цьому міг бути відправлений довільний із символів а_і , то канальна матриця буде мати вигляд таблиці 2.

	b1	…	bj	…	bm
a1	p(a1/b1)	…	p(a1/bj)	…	p(a1/bm)
…	…	…	…	…	…
ai	p(ai/b1)		p(ai/bj)	….	p(ai/bm)
…	…	…	…	…	…
am	p(am/b1)	…	p(am/bj)	…	p(am/bm)

По таблиці 2 сума умовних ймовірностей кожного стовпця дорівнює 1, і описується виразом (5).

∑_j p(a_i/b_j) = 1; (5)

Часткова умовна ентропія для b₁ символу записується через вираз (6).

H(B/b₁) = ∑_j p(a_i/b₁)log p(a_i/b₁); (6)

Загальна умовна ентропія обчислюється виразом (7).

H(B/A) = -∑_j∑_i p(b_j) p(a_i/b_j) log₂(p(a_i/b_j)); (7)

Розглянемо характеристики повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих а_і та прийнятих b_j символів описується ймовірностями сумісних подій р(а_і, b_j), а відповідно канальна матриця для визначення ентропії об’єднання може бути подана табл. 3.

	b1	…	bj	…	bm
a1	p(a1,b1)	…	p(a1,bj)	…	p(a1,bm)
…	…	…	…	…	…
ai	p(ai/b1)		p(ai/bj)	….	p(ai,bm)
…	…	…	…	…	…
am	p(am/b1)	…	p(am/bj)	…	p(am/bm)

Ця матриця має властивості, які описані співвідношеннями (8,9,10).

∑_i p(a_i, b_j) = p(b_j); (8)

∑_j p(a_i, b_j) = p(a_i); (9)

∑_i p(a_i) = ∑_j p(b_j) = 1; (10)

Ентропія для джерела повідомлень Н(А) і для приймача В записана в (11, 12) відповідно.

H(A) = -∑_i∑_j p(a_i, b_j) log ∑_jp(a_i,b_j)); (11)

H(B) = -∑_j∑_i p(a_i, b_j) log ∑_i p(a_i, b_j)); (12)

Умовні ймовірності р(а_і/b_j) та р(b_і, a_j) можуть обчислюватися за допомогою матриці об’єднання використовуючи співвідношення (13,14).

p(a_i/b_j) = (p(a_i, b_j))/(∑_i p(a_i, b_j)) = p(a_i, b_j)/p(b_j); (13)

p(b_i/a_i) = (p(a_i, b_j))/(∑_j p(a_i, b_j)) = p(a_i, b_j)/p(a_i); (14)

Кількість інформації є характеристикою як джерела повідомлень А так і приймача В. Вона є мірою відповідно прийнятих сигналів до тих, що передавалися і навпаки.

Отже цю властивість можна записати через (16). Якщо втрата інформації в каналі зв’язку описана за допомогою ентропії об’єднання, то кількість інформації І(А,В), яка міститься у повідомленні що передається через канал зв’язку може бути описана виразом (17).

І(А, В) = І(В, А); (16)

I(A, B) = H(A) + H(B) – H(A, B); (17)

I(A, B) = H(A) – H(A/B) = H(B) – H(B/A); (18)

Так як раніше було встановлено, що ентропія об’єднання може бути записана через умовну ентропію.

Вираз (17) можна модифікувати через (17а).

H(A, B) = H(A) + H(B/A) = H(B) + H(A/B); (17a)

Для оцінки кількості інформації необхідно мати безумовні ймовірності р(а_і) і відповідну канальну матрицю, або р(b_j) і відповідну канальну матрицю, або матрицю об’єднань.

Приклад:

Канал зв’язку із завадами описано матрицею Р(А,В), потрібно визначити кількість інформації на повідомлення.

0,1 0,1 0

Р(А,В) = 0 0,2 0,1 І(В,А) - ?

0 0,2 0,3

р(аi) = ; p(bj) =

на першому етапі знаходимо безумовні ймовірності появи символів типу p(ai), p(bj)

p(a1) = 0,2; p(a2) = 0,3; p(a3) = 0,5

p(b1) = 0,1; p(b2) = 0,5; p(b3) = 0,4

H(A) = - = -0,2*0,2 + 0,3* 0,3 + 0,5*0,5 = 1,486 біт/символ

H(B) = - -0,1*0,5*0,5 + 0,4*0,4 = 1,360 біт/символ

H(A,B)==3*0,1*0,1+2*0,2*0,2+0,3*0,3=2,446 біт/2сим.

I(B,A) = H(A) + H(B) – H(A,B) = 1,486 + 1,360 – 2,446 = 0,4 біт