Мат. лінгвістика 4
.pdfМІНІСТЕРСТВО ОСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ”ЛЬВІВСЬКА ПОЛІТЕХНІКА”
ІНФОРМАЦІЙНІ ВИМІРИ КОДУВАННЯ ІНФОРМАЦІЇ
МЕТОДИЧНІ ВКАЗІВКИ
до лабораторної роботи №4 з дисципліни «Математична структурна та прикладна лінгвістика»
для студентів напряму «Системи штучного інтелекту»
Затверджено на засіданні кафедри
інформаційних систем та мереж Протокол №14 від 18.05.2012р.
Львів-2012
Інформаційні виміри кодування інформації: методичні вказівки до лабораторної роботи №4 / Укл.: Укл.: В.А. Висоцька, Ю.В. Нікольський, Т.В. Шестакевич, Ю.М. Щербина. – Львів: Видавництво Національного університету ”Львівська політехніка”, 2007. – 24 с.
Укладачі Висоцька В.А., асистент Нікольський Ю.В., д.т.н., професор. Шестакевич Т.В., асистент Щербина Ю.М., к.ф.-м.н, доцент.
Відповідальний за випуск |
Жежнич П.І., д.т.н., професор. |
Рецензенти Берко А.Ю., д.т.н., професор. Чирун Л.В., к.т.н, доцент.
2
Мета роботи: розглянути властивості умовної ентропії, її загальний та частковий випадок, а також виміри інформації у випадку її кодування.
1.1УМОВНА ЕНТРОПІЯ ТА ЕНТРОПІЯ ОБ’ЄДНАННЯ
1.2ЗАГАЛЬНА І ЧАСТКОВА УМОВНА ЕНТРОПІЯ
Поняття умовної ентропії в теорії інформації використовується
при визначенні взаємозалежності між символами алфавіту, що кодується, для визначення втрат при передачі інформації по каналах зв’язку, при обчисленні ентропії об’єднання. (Суть взаємозалежності символів букв алфавіту полягає в тому, що ймовірність появи i-ї букви в будь-якому місці повідомлення залежить від того, які букви стоять перед нею і після неї, і буде відрізнятись від безумовної ймовірності pi, яка відома зі статистичних властивостей даного алфавіту)
У всіх випадках при обчисленні умовної ентропії в тому чи іншому вигляді використовуються умовні ймовірності.
Якщо при передачі n повідомлень символ А з’явиться m разів, символ В з’явиться l разів, а символ А разом з символом В – k разів,
то ймовірність появи символу А p A m , ймовірність появи символу
n
В p B |
l |
; ймовірність сумісної появи символів А і В |
p AB |
k |
; |
|
|
||||
|
n |
|
n |
умовна ймовірність появи символу А відносно символу В та умовна ймовірність появи символу В відносно символу А
p A/ B |
p AB |
|
|
k |
; |
p B/ A |
p AB |
|
|
k / n |
|
k |
|
(1) |
p B |
|
p A |
|
|
|
|||||||||
|
|
l |
|
|
m/ n m . |
|
Якщо відома умовна ймовірність, то можна легко визначити також
імовірність спільної появи символів А і В, використовуючи |
вираз |
(16) |
|
p AB p B p A/B p A p B/ A . |
(2) |
Від класичного виразу формула умовної ентропії відрізняється тим, що в ній ймовірності – умовні:
H bj |
/ai p bj |
/ai log p bj |
/ai , |
(3) |
|
j |
|
|
|
H ai |
/bj p ai |
/bj log p ai |
/bj , |
(4) |
|
i |
|
|
|
3
де індекс i вибраний для характеристики довільного стану джерела повідомлень А, а індекс j вибраний для характеристики довільного стану адресата В.
Розрізняють поняття часткової та загальної умовної ентропії. Вирази
(3) та (4) представляють часткові умовні ентропії.
Загальна умовна ентропія повідомлення В відносно повідомлення А характеризує кількість інформації, що міститься в будь-якому символі алфавіту, і визначається усередненням по всіх символах, тобто по всіх станах з врахуванням ймовірності появи кожного зі станів і дорівнює сумі ймовірностей появи символів алфавіту на невизначеність, яка залишається після того, як адресат прийняв сигнал
H B/ A p ai H bj |
/ai p ai |
p bj /ai log p bj /ai . |
(5) |
i |
i j |
|
|
Вираз (5) є загальним виразом для визначення кількості інформації на один символ повідомлення для випадку нерівномірних та взаємозалежних символів.
Оскільки p(ai)p(bj/ai) являє собою ймовірність спільної появи двох подій p(ai/bj), то формулу (20) можна записати наступним чином
(6)
H B/ A p ai /bj log p bj /ai .
i j
Якщо ми досліджуємо канал зв’язку з боку приймача повідомлень, то з отриманням сигналу bj припускаємо, що був відісланий якийсь із сигналів a1,a2,...,ai,...,am . При цьому канальна матриця буде мати вигляд:
B |
b1 |
b2 |
… |
bj |
… |
bm |
A |
|
|
|
|
|
|
a1 |
p a1 /b1 |
p a1 /b2 |
… |
p a1/bj |
… |
p a1 /bm |
a2 |
p a2 /b1 |
p a2 /b2 |
… |
p a2 /bj |
… |
p a2 /bm |
… |
… |
… |
… |
… |
… |
… |
ai |
p ai /b1 |
p ai /b2 |
… |
p ai /bj |
… |
p ai /bm |
… |
… |
… |
… |
… |
… |
… |
am |
p am /b1 |
p am /b2 |
… |
p am /bj |
… |
p am /bm |
В цьому випадку часткова умовна ентропія
4
|
m |
/bj log p ai /bj , |
|
(7) |
||
H ai /bj p ai |
|
|
||||
i 1 |
|
|
|
|
|
|
а загальна умовна ентропія |
|
|
|
|||
H A/B p bj p ai /bj log p ai /bj . |
|
(8) |
||||
j |
i |
|
|
p bj /ai та |
|
|
Якщо задані |
канальна матриця |
вигляду |
безумовні |
|||
ймовірності |
вигляду |
p ai , то |
безумовні |
ймовірності |
приймача |
|
p bj знаходимо як |
p ai p bj |
/ai , тобто якщо задані безумовні |
||||
|
|
|
i |
|
|
|
ймовірності джерела та канальної матриці, то може бути розрахована ентропія приймача
H B p bj log p bj , і навпаки, якщо задані ймовірності
j
вигляду p bj та канальна матриця, яка описує канал зв’язку з боку
приймача повідомлень, то p ai p bj p ai /bj , а значить може
j
бути |
визначена |
ентропія |
джерела |
повідомлень |
H A p ai log p ai .
i
Якщо взаємозалежність пов’язує 3 елементи ai , aj , ak , то умовна ентропія розраховується за формулою
H A/B,K p ai,aj,ak log p ai,aj,ak ,
i j k
аналогічно і для 4,5,...,n елементів.
1.3 СУМІСНА ПОЯВА СТАТИЧНО ЗАЛЕЖНИХ ПОВІДОМЛЕНЬ
Ентропія об’єднання використовується для розрахунку ентропії сумісної появи статично залежних повідомлень. Наприклад, передавши сто разів цифру 5 по каналу зв’язку із перешкодами, зауважимо, що цифра 5 була прийнята 90 разів, цифра 6 – 8 разів та цифра 4 – 2 рази. Невизначеність виникнення комбінацій вигляду 5 – 4, 5 – 5, 5 – 6 при передачі цифри 5 може бути описана за допомогою ентропії об’єднання. H A,B – невизначеність того, що буде відіслано A, а прийнято B. Для набору переданих повідомлень A та
5
прийнятих повідомлень B ентропія об’єднання представляє собою суму вигляду
H A,B p ai,bj log2 p ai,bj біт/два символа. |
(9) |
i j |
|
Ентропія об’єднання та умовна ентропія пов’язані між собою наступними співвідношеннями:
H A,B H A H B/ A H B H A/B ,
H B/ A H A,B H A ,
H A/B H A,B H B .
Ентропія об’єднання може бути обчислена за допомогою матриці вигляду:
p a1,b1 p a1,b2 p a1,bm
p ai,bj p a2,b1 p a2,b2 p a2,bm .
..................................................
p am,b1 p am,b2 p am,bm
Така матриця володіє наступною властивістю:
p ai,bj p bj ,
i
p ai,bj p ai ,
j
при цьому p ai p bj 1. Ця властивість, в свою чергу,
i j
дозволяє розраховувати ентропію як джерела, так і приймача повідомлень безпосередньо по канальній матриці:
H A p ai,bj log p ai,bj . |
(10) |
||
i |
j |
j |
|
H B p bj,ai log p bj,ai . |
(11) |
||
i |
j |
i |
|
Сумування |
проводимо |
по i та j, так |
як для того, щоб знайти |
безумовні ймовірності, необхідно сумувати їх за одною координатою (маючи на увазі матричне представлення ймовірностей), а для знаходження H сумування проводиться по іншій координаті.
Умовні ймовірності вигляду p ai /bj та p bj /ai розраховуються як:
6
p ai /bj |
p ai,bj |
|
p bj /ai |
p ai,bj |
|
|
, |
|
. |
||
p ai,bj |
p ai,bj |
||||
|
i |
|
|
j |
Кількість інформації на символ повідомлення, переданого по каналу зв’язку, в якому вплив перешкод описується за допомогою ентропії об’єднання, підраховується наступним чином:
I A,B H A H B H B,A .
1.4 ІНФОРМАЦІЙНІ ВТРАТИ В КАНАЛАХ ІЗ ШУМОМ
Поняття загальної і часткової умовної ентропії широко використовується для обчислення інформаційних втрат в каналах зв’язку з шумом.
В загальному випадку, якщо ми передаємо m сигналів А і очікуємо отримати m сигналів В, вплив перешкод в каналі зв’язку повністю описується канальною матрицею, яка наведена нижче
B |
b1 |
b2 |
… |
bj |
… |
bm |
A |
|
|
|
|
|
|
a1 |
p b1 /a1 |
p b2 /a1 |
… |
p bj /a1 |
… |
p bm /a1 |
a2 |
p b1 /a2 |
p b2 /a2 |
… |
p bj /a2 |
… |
p bm /a2 |
… |
… |
… |
… |
… |
… |
… |
ai |
p b1 /ai |
p b2 /ai |
… |
p bj /ai |
… |
p bm /ai |
… |
… |
… |
… |
… |
… |
… |
am |
p b1/am |
p b2 /am |
… |
p bj /am |
… |
p bm /am |
Ймовірності, які розміщені по діагоналі, визначають правильний прийом, решта – хибний. Значення цифр, які заповнюють колонки канальної матриці, звичайно зменшуються по мірі віддалення від головної діагоналі, і при повній відсутності перешкод, всі, крім цифр на головній діагоналі, дорівнюють нулю.
Втрати інформації, які припадають на частку сигналу a1 , описуються за допомогою часткової умовної ентропії виду
H bj |
/a1 p bj |
/ a1 log p bj |
/a1 . |
(12) |
|
j
Сумування відбувається по j, оскільки i-ий стан (в даному випадку перший) залишається постійним.
7
Щоб врахувати втрати при передачі всіх сигналів по даному каналу зв’язку, потрібно просумувати всі часткові умовні ентропії (тобто провести подвійне сумування по і та по j). При цьому в випадку рівноймовірних появ сигналів на виході джерела повідомлень
H B/ A |
1 |
p bj / ai log p bj / ai , |
(13) |
m |
|
||
|
i j |
|
(ділимо на m, оскільки ентропія є невизначеність на один символ).
У випадку нерівноймовірної появи символів джерела повідомлень потрібно врахувати ймовірність появи кожного символа, помноживши на неї відповідну часткову умовну ентропію.
При цьому загальна умовна ентропія:
H B/ A p ai |
p bj /ai log p bj / ai . |
(14) |
|
||
i |
j |
|
Якщо перешкод немає або їх рівень настільки низький, що вони не в стані знищити сигнал чи імітувати корисний сигнал при відсутності передачі, то при передачі ai ми будемо твердо впевнені, що отримаємо bj – сигнал, який відповідає переданому ai -му сигналу.
Події A та B статистично жорстко пов’язані, умовна ймовірність максимальна p bj /ai 1, а умовна ентропія
m |
(15) |
H A/B p bj /ai log2 |
p bj /ai 0, |
i 1 |
|
оскільки log2 p bj /ai log21 0.
В цьому випадку кількість інформації, яка вміщується в прийнятому наборі повідомлень B, рівна ентропії переданих повідомлень набору A, тобто I B,A H A
При високому рівні перешкод будь-який із прийнятих сигналів bj
може відповідати будь-якому переданому сигналу ai , статистичний зв’язок між переданими та прийнятими сигналами відсутній. В цьому випадку ймовірності p ai та p bj є ймовірностями незалежних
подій і p bj /ai p bj , p ai /bj p ai .
H A/B p bj p ai /bj log2 p ai /bj
ij
p bj p ai log2 p ai p bj H A H A
i |
j |
j |
8
Оскільки p bj 1, тобто умовна ентропія рівна безумовній, а
j
кількість інформації, яка вміщується в B, відносно A рівна нулю:
I A,B H A H A/B 0.
Інформаційні характеристики реальних каналів зв’язку знаходяться між цими двома граничними випадками. При цьому втрати інформації при передачі k символів по даному каналу зв’язку
I kH A/B .
Не дивлячись на те, що частина інформації змінюється через перешкоди, між прийнятими та переданими повідомленнями існує статична взаємозалежність. Це дозволяє описувати інформаційні
характеристики реальних каналів зв’язку за допомогою |
ентропії |
об’єднання статистично залежних подій. Так як |
|
H A,B H A H B/ A H B H A/B , |
(16) |
то втрати в каналі зв’язку можуть бути враховані за допомогою ентропії об’єднання наступним чином:
I B,A H A H B H B,A , |
(17) |
а з використанням умовної ентропії
I B,A H A H A/B H B H B/ A .
Для розрахунку середньої кількості інформації, що вміщується в прийнятому наборі повідомлень B відносно переданого набору повідомлень A в умовах дії перешкод, користуються наступними виразами, виділеними безпосередньо із виразу (17):
I B,A p ai p bj /ai log2 |
|
p bj /ai |
|
, |
|
(18) |
||||||
|
|
|
|
|||||||||
|
p bj |
|
|
|
||||||||
i |
j |
|
|
|
|
|
|
|||||
I A,B p bj p ai /bj log2 |
|
p ai /bj |
, |
|
(19) |
|||||||
|
p a |
|
|
|
||||||||
i |
j |
|
|
|
i |
|
|
|
|
|||
I B,A I A,B p ai,bj log2 |
p bj /ai |
|
(20) |
|||||||||
p bj |
||||||||||||
|
|
i j |
|
|
|
|
, |
|||||
|
|
p ai /bj |
|
|
|
|
|
|
|
|||
p bj |
,ai log2 |
p ai,bj log2 |
p ai,bj |
|
||||||||
p ai |
p ai p bj |
|||||||||||
i j |
|
i |
|
j |
|
|
Для розрахунків часто зручно застосовувати вирази (18-20) у вигляді
9
|
|
p ai /bj p ai /bj log2 |
p ai |
|
, |
I A,B p bj p ai /bj log2 |
|
||||
j |
i |
p bj /ai p bj /ai log2 |
p bj |
|
|
|
|
|
, |
||
I B,A p ai p bj /ai log2 |
|
||||
i |
j |
|
|
|
|
I A,B I B,A p ai,bj log2 p ai,bj
i j
p ai,bj log2 p ai p bj
i j
Для повного та всебічного опису каналу зв’язку необхідно задати:
канальну матрицю |
виду |
p ai /bj |
та безумовні ймовірності виду |
||
p bj або |
канальну |
матрицю |
виду p bj /ai та |
безумовні |
|
ймовірності |
виду |
p ai , |
або канальну матрицю виду |
p ai,bj . В |
останньому випадку сума значень матриці по стовпцях дає безумовні
|
|
|
|
|
|
|
|
|
ймовірності виду p bj |
p bj 1 , а сума по рядках дає безумовні |
|||||||
|
|
|
|
|
j |
|
|
|
|
|
|
|
|
|
|
||
ймовірності |
виду |
p ai |
|
|
|
можуть |
||
|
p ai 1 . Умовні ймовірності |
|||||||
|
|
|
|
|
i |
|
|
|
бути знайдені із виразів: |
|
|
p ai,bj |
|
||||
p ai /bj |
p bj,ai |
, p bj |
/ai |
|
||||
|
|
|
. |
|
||||
|
p bj |
p ai |
|
|||||
Знаючи умовні та |
безумовні |
ймовірності, можна знайти |
H A , |
H B , H A/B та H B/ A .
Якщо рівень перешкод настільки великий, що з рівною ймовірністю можна очікувати перехід будь-якого символу джерела повідомлення в довільний символ первинного алфавіту, то ентропія каналу зв’язку буде рівна log2 m, а кількість інформації I H A log2 m 0, при цьому значення I може бути від’ємною величиною, що означає, що канал зв’язку вносить дезінформацію.
1.5 ЛІТЕРАТУРА
Нікольський Ю.В., Пасічник В.В., Щербина Ю.М. Дискретна математика: Підручник. – Львів: "Магнолія Плюс", 2005. – 608с.
10