Методичні вказівки

до лабораторної роботи №3

з дисципліни ’’Математична лінгвістика” для студентів спеціальності 7.030505 ’Прикладна лінгвістика”

Укладачі Щербина Юрій Миколайович

Висоцька Вікторія Анатоліївна Шестакевич Тетяна Валеріївна

Редактор

Комп ’ютерне верстання

3 Задача. Алфавіт складається із букв A,B,C,D. Ймовірності появи букв рівні, відповідно, р_А=р_в= 0,25; р_с = 0,34; p_D= 0,16. Визначити кількість інформації на символ повідомлення, що складений із такого алфавіту.

Розв’язок. Кількість інформації на символ алфавіту є ентропією даного алфавіту. Так як символи алфавіту нерівно ймовірні, то ентропія рівна

т

Н = -2 р_г log₂ р_г = -(2 • 0,25 • log₂ 0,25 + 0,34 • log₂ 0,34 +

Z=1

+0,16-log₂ 0,16) = 2-0,5 + 0,529174 + 0,423017 = 1,952191 біт/символ