2. Приріст інформації

Припустімо, що до початку процесу дослід може закінчуватись pj рівноімовірними результатами, жоден з яких не має переваги над іншим, а після закінчення процесу - р2 результатами. Зміна інформації при цьому визначатиметься так:

М = k\n(p_l/p₂) = k(\np_l-\np₂). (11)

Якщо А/ > 0 - отримуємо приріст інформації, тобто відомості про дослід стали більш визначеними, при А/ < 0 - менш визначеними. Притому важливо, що не використовувалась явно структура досліду (механізм протікання процесу). Величина АІ може бути інтерпретована як кількість інформації, що необхідна для переходу від одного рівня організації системи до іншого (А/ > 0 - вищий рівень, А/ < 0 - нижчий рівень).

2. Інформаційні виміри кодування інформації

Представимо описані вище характеристики інформації у термінах кодування інформації.

Комбінаторний підхід до визначення кількості інформації. Загальна кількість повідомлень, що не повторюються, яка може бути складена з алфавіту з т символів шляхом комбінування по п символів в повідомленні, визначається за формулою

N = т^п. (12)

Невизначеність, яка припадає на символ первинного (того, що кодується) алфавіту, складеного з рівноймовірних й взаємонезалежних символів

H=log т. Н = \ogm (

13)

Введемо наступні означення.

Первинний алфавіт складається з т/ символів (якісні ознаки), за допомогою яких записується повідомлення, що передається.

Вторинний алфавіт складається з т₂ символів, за допомогою яких повідомлення трансформується в код.

Оскільки інформація є невизначеністю, яка знімається при отриманні повідомлення, то кількість інформації може бути представлена, як добуток загальної кількості повідомлень k на середню ентропію Н, яка припадає на одне повідомлення:

І = к-Н біт.

Для випадків рівноймовірних та взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту з т символів дорівнює

I = к-log₂ т біт.

Імовірнісний підхід до визначення кількості інформації. При описі комбінаторного методу для обчислення кількості інформації та ентропії ми використовували спрощення, за яким всі закінчення досліду вважались рівноймовірними. При реальних дослідженнях така ситуація практично ніколи не зустрічається. (Норма мови приписує кожному лінгвістичному елементу певну ймовірність). Якщо випробування передбачає нерівноймовірні результати, то, очевидно, ентропія такого досліду і

отримана від нього кількість інформації будуть відрізнятись від аналогічних величин для досліду з рівноймовірними результатами.

Для нерівноймовірних результатів ентропія на символ алфавіту

ЕЛЕМЕНТИ ТЕОРІЇ ІНФОРМАЦІЇ В ЛІНГВІСТИЦІ 1

МЕТОДИЧНІ ВКАЗІВКИ 1

(1) 5

p(br')l.p(hibr'}og,p{hibr') 57

я„ = Ія, = я;+я:+ ,+я; 134

З КОНТРОЛЬНІ ПИТАННЯ 137

4 Завдання 140

6 Література 25

НАВЧАЛЬНЕ ВИДАННЯ ЕЛЕМЕНТИ ТЕОРІЇ ІНФОРМАЦІЇ В ЛІНГВІСТИЦІ 26

МЕТОДИЧНІ ВКАЗІВКИ 26

/=1

При розв’язуванні задач, в яких ентропія визначається як сума добутків ймовірностей на їх логарифми, ймовірності завжди представляють групу ПОВНИХ ПОДІЙ, незалежно ВІД ТОГО, Є ТІ ПОДІЇ безумовними р(сіі), умовними p(a/bj) чи ймовірностями сумісних подій p(ai bj).

Кількість інформації визначається виключно характеристиками первинного алфавіту, об’єм - характеристиками вторинного алфавіту. Об’єм інформації (к-сть елементарних символів в прийнятому повідомленні) Q = kl_cep, де І_сер - середня довжина кодових слів вторинного алфавіту.

Для рівномірних кодів (всі комбінації коду мають однакову кількість розрядів): Q=kn, де « - довжина кода (к-сть елементарних посилок в коді).

Згідно (11), об’єм дорівнює кількості інформації, якщо І_сер = Н, тобто у

випадку максимального інформаційного навантаження на символ повідомлення. У всіх інших випадках I<Q .