1.2 Базові поняття теорії інформації

У найзагальнішому розумінні інформація – це передавання, відображення певного різноманіття. В теорії інформації інформацію розглядають як кількісну міру усунення невизначеності, що зменшується у результаті отримання якихось відомостей.

Отже, інформація – це об'єктивно існуючий зміст, який характеризує стан і поведінку певної системи загалом або її окремих елементів та зменшує ступінь невизначеності у процесі його пізнання і переробки. Інформація протилежна невизначеності.

Кодування - перетворення інформації на впорядкований набір символів, елементів, знаків. При кодуванні кожному повідомленню з деякої множини, що називається ансамблем повідомлень, ставиться у відповідність зумовлена кодова комбінація - набір символів (елементів, знаків). Множина повідомлень називається алфавітом повідомлень, або первинним алфавітом, а множина символів (елементів, знаків) називається алфавітом джерела, або вторинним алфавітом. Побудована відповідно до певної схеми кодування множина кодових комбінацій називається кодом. Залежно від алфавіту, що використовується для побудови кодових комбінацій, розрізняють двійкові (бінарні) коди, алфавіт яких складається з двох символів: 0 і 1 і недвійкові (багатопозиційні, q-коди), алфавіт яких містить більшу кількість символів.

За функціональним призначенням коди поділяють на безнадмірні (некоригувальні, первинні, прості) і надмірні (коригувальні, завадостійкі). Перша група кодів призначена для економного кодування інформації – стиснення. Друга використовується для виявлення та/чи виправлення помилок, що виникають у процесі передачі даних каналом зв'язку із завадами.

Коди можуть бути рівномірними і нерівномірними - з постійною і змінною кількістю розрядів.

Канал зв'язку - це середовище передачі інформації, що характеризується максимально можливою для нього швидкістю передачі даних – пропускною здатністю, або ємністю каналу.

Пропускну здатність каналу зв'язку без шуму можна наближено обчислити, знаючи максимальну частоту хвильових процесів, допустимих у цьому каналі. Вважається, що швидкість передачі даних може бути не менше цієї частоти. Типові канали зв'язку: телеграфний, телефонний, оптоволоконний, цифровий телефонний. Найбільш поширені телефонні лінії зв'язку, для яких досягнута швидкість передачі даних, >50 Кбод.

Шум - це завади в каналі зв'язку.

Узагальнена схема системи передачі інформації має такий вигляд (рис. 1.2).

1.3 Способи вимірювання інформації

Припустимо, що стан деякого об'єкта або системи наперед відомий. Тоді повідомлення про цей стан не несе ніякої інформації для її одержувача. Якщо ж стан об'єкта змінився і джерелом передане якесь інше повідомлення про стан спостережуваного об'єкта, то це повідомлення несе нові відомості, які додадуть знання про об'єкт. Тоді можна говорити, що таке повідомлення містить деяку кількість інформації для її одержувача.

Отже, на якісному інтуїтивному рівні інформацію можна визначити як нове, наперед невідоме знання про стан деякого об'єкта або системи, а кількість інформації - кількість цього знання. Зрозуміло, що якщо нове знання збільшує загальний рівень знань про стан спостережуваного об'єкта, то кількість інформації накопичується і має адитивний характер.

До передачі джерелом повідомлення для його одержувача має місце деяка невизначеність щодо стану об'єкта спостереження. Після вибору повідомлення джерелом утворюється певна кількість інформації, що якоюсь мірою зменшує цю невизначеність.

В основу теорії інформації покладено запропонований Клодом Шенноном спосіб вимірювання кількості інформації, що міститься в одній випадковій величині щодо іншої випадкової величини¹. Цей спосіб дозволяє виразити кількість інформації числом і надає можливість об'єктивно оцінити інформацію, що міститься у повідомленні.

Коротко розглянемо основні викладки ймовірностного підходу Шеннона до визначення кількості інформації.

Нехай дискретне джерело інформації видає послідовність повідомлень x_i, кожне з яких вибирається з алфавіту x₁, x₂, …, x_k, де k - об'єм алфавіту джерела.

У кожному елементарному повідомленні для його одержувача міститься інформація як сукупність відомостей про стан деякого об'єкта або системи.

Для того щоб абстрагуватися від конкретного змісту інформації, тобто її смислового значення, і отримати саме загальне визначення кількості інформації, кількісну міру інформації визначають без урахування її смислового змісту, а також цінності і корисності для одержувача.

До того як зв'язок відбувся, є деяка невизначеність щодо того, яке з повідомлень з можливих буде передане. Ступінь невизначеності передачі х_i можна визначити його апріорною імовірністю p_i. Отже, кількість інформації I(X_i) буде деякою функцією від p_i: I(X_i)=f(p_i). Визначимо вид цієї функції.

Вважатимемо, що міра кількості інформації I(X_i) відповідає двом інтуїтивним властивостям:

1) якщо вибір повідомлення джерела x_i наперед відомий (немає невизначеності), тобто маємо достовірний випадок, імовірність якого p_i=1, то I(X_i)=f(1)= 0;

2) якщо джерело послідовно видає повідомлення x_i і x_j, і імовірність такого вибору p_ij - сумісна імовірність подій x_i і x_j, то кількість інформації в цих елементарних повідомленнях дорівнює сумі кількості інформації в кожному з них.

Ймовірність сумісного випадання двох випадкових подій x_i і x_j дорівнює добутку ймовірності однієї з цих подій на ймовірність іншої за умови, що перша подія відбулася, тобто p_ij=p_ip_j/i=PQ.

Тоді, з властивості 2 кількості інформації випливає, що

I(X_i, X_j)=I(X_i)+I(X_j)=f(P∙Q)=f(P)+f(Q).

Звідси випливає, що функції f(p_i) логарифмічна. Таким чином, кількість інформації зв'язана з апріорною імовірністю співвідношенням

,

при цьому коефіцієнт k і основа логарифма можуть бути довільними.

Для того щоб кількість інформації визначалася невід'ємним числом, взяте k=-1, а основу логарифма найчастіше вибирають 2, тобто

. (1.1)

У цьому випадку за одиницю кількості інформації так само береться біт. У такий спосіб біт – це кількість інформації в повідомленні дискретного джерела, алфавіт якого складається з двох альтернативних подій, які є апріорно рівноймовірними. Якщо кількість апріорно рівноймовірних подій дорівнює 2⁸, то за одиницю інформації береться байт.

Якщо джерело інформації видає послідовність взаємозалежних повідомлень, то отримання кожного з них змінює ймовірність появи наступних і відповідно кількість інформації у них. У такому випадку кількість інформації виражається через умовну ймовірність вибору джерелом повідомлення x_i за умови, що до цього були обрані повідомлення x_i-1, x_i-2 …, тобто

. (1.2)

Кількість інформації I(X) є випадковою величиною, оскільки самі повідомлення випадкові. Закон розподілу ймовірностей I(X) визначається розподілом ймовірностей P(X) ансамблю повідомлень джерела.

Натомість сам Шеннон зазначав, що смисловий зміст (семантика) повідомлень не має ніякого відношення до його теорії інформації, яка цілком базується на положеннях теорії ймовірності. Його спосіб вимірювання інформації наводив на думку про можливість існування способів вимірювання інформації з урахуванням її змісту, тобто семантичної інформації.

Одним із таких способів вимірювання кількості інформації є функція inf(S)=-log₂p(S), де S - висловлювання, смисловий зміст якого вимірюється; p(S) - ймовірність істинності S. Властивості цієї функції:

1) якщо S₁ S₂ істинно, то inf(S₁) ≥ inf(S₂);

2) якщо S істинно, то inf(S)=0;

3) Inf(S) ≥ 0;

4) Inf(S₁, S₂)= inf(S₁) + inf(S₂) p(S₁, S₂)=p(S₁)+p(S₂), тобто S₁, S₂ незалежні.

Приклад. S₁ = “a>3”, S₂=“a=7”; S₂ S₁, inf(S₂) > inf(S₁).

Значення цієї функції-міри більше для висловлювань, що виключають більшу кількість можливостей.