2. Приклади розв’язування задач

1. Задача. В алфавіті три букви А,В,С.

а. Скласти максимальну кількість повідомлень, комбінуючи по три

букви в повідомлені.

б. Яку кількість інформації несе одне таке повідомлення?

в. Чому рівна кількість інформації на символ первинного алфавіту?

Розв ’язок.

а. т₂ = 3 ; п = 3; N = т" = З³ = 27

AAA BAA CAA

AAB BAB CAB

ЕЛЕМЕНТИ ТЕОРІЇ ІНФОРМАЦІЇ В ЛІНГВІСТИЦІ 1

МЕТОДИЧНІ ВКАЗІВКИ 1

(1) 5

p(br')l.p(hibr'}og,p{hibr') 57

я„ = Ія, = я;+я:+ ,+я; 134

З КОНТРОЛЬНІ ПИТАННЯ 137

4 Завдання 140

6 Література 25

НАВЧАЛЬНЕ ВИДАННЯ ЕЛЕМЕНТИ ТЕОРІЇ ІНФОРМАЦІЇ В ЛІНГВІСТИЦІ 26

МЕТОДИЧНІ ВКАЗІВКИ 26

б. / = log₂ N = log₂ 27 = 4,75489 біт;

в. H = log₂ m_l = log₂ N = log₂ m".

2. Задача. Скількома способами можна передати положення фігур на шаховій дошці? Чому дорівнює кількість інформації в кожному випадку?

Розв ’язок. Можна пронумерувати всі клітинки шахової дошки та

передати номер клітинки. Для цього необхідні 64 якісні ознаки т = 64, але для

передачі номера клітинки достатньо буде одного повідомлення. При цьому кількість інформації

I = п log₂ т = 1 log₂ 64 = 6 біт.

Вказати на дошці необхідну клітинку можна, передавши її координати по горизонталі та вертикалі. Для цього достатньо восьми якісних ознак (вісім номерів по горизонталі та вісім по вертикалі), але передавати потрібно два повідомлення. При цьому кількість інформації

1 = 2■ log₂ 8 = 2-3 = 6 біт.

Якщо номер по горизонталі та вертикалі передавати війковим кодом, необхідні дві якісних ознаки, які комбінуються по три елементи в повідомленні. При цьому кількість інформації

1 = 2-log₂ 2³ = 2• 3• log₂2 = 6 біт.

4. Задача. Чому рівна кількість інформації при отриманні 8 повідомлень рівномірного чотиризначного трійкового коду?

Розв ’язок. Кількість якісних ознак т = 3 . В коді вони комбінуються по 4, тобто п = 4. Кількість повідомлень такого коду N = т^п = З⁴. Ентропія на одне повідомлення Н = log₂ N = 4 • log₂ 3. Кількість інформації в 8 повідомленнях

/ = 8 • 4 • log₂ 3 = 50,72 біт.

Зауваження. Можна рахувати кількість інформації, визначивши ентропію на букву, блок, сторінку і т. д. Кількість інформації у визначеному об’ємі визначається множенням отриманого значення ентропії відповідно на кількість букв, блоків, сторінок і т. д.

4. Задача. На ПК постійна інформація зберігається в 32768 стандартних комірках пам’яті. Скількома способами можна передати відомості про те, із якої комірки можна отримати данні постійної інформації? Чому рівна кількість інформації в кожному випадку? Яка геометрична побудова сховища дозволить передавати цю інформацію мінімальною кількістю якісних ознак?

Розв ’язок. Пронумерувати всі комірки та передавати номер, в цьому випадку

/ = n-\og₂ т = 1-log₂32768 = 15 біт.

Розташувати комірки квадратом та передавати номер комірки по вертикалі та горизонталі. Кількість повідомлень при цьому рівна двом:

I = п-log₂т = 2• log₂-\/32768 = log₂32768 = 15 біт.

Розкласти комірки в формі куба та передавати три координати. Кількість комірок при цьому рівна трьом:

I = п-log₂т = 3• log₂л/32768 = log₂32768 = 15 біт.

Куб - це форма, що забезпечує найменше т. Розмістити, наприклад, постійну інформацію в 64 шафи, всередині кожної шафи розташувати комірки у формі кубу. При цьому прийдеться передавати окремо номер шафи та номер комірки в шафі. Загальна кількість інформації

/ = /₁₊/₂.

Кількість якісних ознак для передачі номера комірки та номера шафи трьома повідомленнями рівна:

/j = log₂ iVj = log₂ 64 = 6 біт,

/₂ = log₂ N₂ = log₂ 512 = 9 біт,

I = I_x +1₂ = 6 біт + 9 біт = 15 біт.

Зауваження. З точки зору зменшення кількості якісних ознак кількість шаф, на які доцільно розбити сховище, повинна бути такою, щоби т₂<т_х. В нашому прикладі для четвертого випадку т_х = >/512 = 8; т₂ = л/б4 = 4.

6. Задача. Визначити об’єм та кількість інформації в тексті “Ще не

вмерла Україна!...” при І_сер = 7 .

Розв ’язок. Кількість прийнятих символів, враховуючи пробіл, k = 24.

Об’єм інформації Q = kl_cp = 24• 7 = 168 біт.

Кількість інформації:

а. для рівноймовірного алфавіту

Н_] = log₂ т = log₂ 33 — 5 біт /символ,

І_х = кН_х = 24 • 5 = 120 біт,

б. для нерівноймовірного алфавіту (в цьому та подібних випадках ентропія первинного алфавіту не вираховується кожний раз, а використовується ентропія українського алфавіту)

33

^Н2 = -£ Pi l°g₂ Рі = ~(Ра l°g₂ Ра+Рб^ЕіРб+'+Ря l°g₂ Л ) «

і=1

~ 4,36 біт / символ,

/₂ = кН₂ « 24 • 4,36 « 104,64 бйя.

7. Задача. Чому рівна ентропія системи, яка складається із к

взаємонезалежних підсистем:

а. кожна підсистема складається із // елементів, кожнен із яких з рівною ймовірністю може знаходитися в т станах;

б. підсистема S_x складається із щ елементів, підсистема S₂ складається із п₂ елементів і т. д., підсистема S_k складається із п_к елементів, кожний із яких може з рівною ймовірністю знаходитися в т станах;

в. кожна підсистема складається із різної кількості елементів, які з різною ймовірністю можуть знаходитися в одному зі станів?

Розв ’язок.

а. Знаходимо ентропію однієї підсистеми Н = \og₂mⁿ. Загальна

к

ентропія системи рівна сумі ентропій окремих підсистем Н_заг =^Н = £log₂ т" .

2=1

б. Визначаємо ентропію окремих підсистем

Н_х = log₂ т?; Н₂ = log₂ да”²; ...; Н_к= log₂ т* .

Загальна ентропія системи

^H₃ae=^Hl+^H2+-+^Hk=^l°g₂ ™l + l°g₂ да”² + ... + log₂ m* =

= log₂ (m"¹ ■ т^п₂^г ■... ■ m? ) = log₂

i=1

в. Знаходимо ентропію на один елемент підсистеми

щ т₂ Щ

=Za,^іой2a,; = Za₂^log₂Рь’ •••; ^/, = Za,'°g₂а,

Z=1 Z=1 Z=1

Визначаємо ентропію окремих підсистем

Я; = _ИіЯ_і; Н’₂=п₂Н₂; Н’_к=п_кН_к

Загальна ентропія системи

я„ = Ія, = я;+я:+ ,+я;

2=1

7. Задача. Визначити ентропію повної багаторівневої ієрархічної

системи, кількість елементів якої на кожному рівні пов’язане залежністю І_п=К^п, де К - основа системи, а п - номер ієрархічного рівня. При цьому рахується, що корінь графу, що представляє ієрархічне дерево системи, розташований на нульовому рівні. Кожний елемент системи може знаходитися з рівною ймовірністю в т станах.

N

Розв’язок. Кількість елементів N -рівневої системи L = '^_jKⁿ‘ .

2=0

N

Ентропія системи Н = log₂ m^L = ^ К^щ log₂ т .

2 = 0

З КОНТРОЛЬНІ ПИТАННЯ

1. Які міри інформації Ви знаєте?

2. Назвіть одиниці виміру ентропії?

3. У чому полягає комбінаторний підхід до визначення кількості інформації?

4. Що таке структурне контекстне обмеження? Наведіть приклади.

5. Поясніть імовірнісний підхід до виміру кількості інформації.