2.3. Міри інформації

Важливе питання теорії інформації – встановлення міри, кількості та якості інформації. Інформаційні міри, переважно, розглядаються у трьох аспектах: структурному, статистичному та семантичному. Ці три напрямки мають свої визначені області застосування.

У структурному аспекті розглядається будова масивів інформації та їх зміна простим підрахунком інформаційних елементів або комбінаторним методом. Структурний підхід застосовується для оцінювання можливостей інформаційних систем незалежно від умов їх використання.

При статистичному підході використовується поняття ентропії як міри невизначеності, що враховує ймовірність появи того чи іншого повідомлення. Статистичні оцінки використовуються при розгляді питань передачі даних, визначенні пропускної здатності каналів зв’язку.

Семантичний підхід дає змогу виділити корисність або цінність інформаційного повідомлення. Семантичні оцінки використовуються при розв’язанні задач побудови систем передавання інформації, розробки кодуючи пристроїв та при оцінюванні ефективності різних пристроїв.

Коротко розглянемо ці міри інформації.

2.3.1. Структурна міра інформації

Структурна міра інформації враховує тільки дискретну будову інформації. Елементами інформаційного комплексу є кванти – неподільні частини інформації. Розрізняють геометричну, комбінаторну та адитивну міри.

Визначення інформації геометричним методом являє собою вимірювання довжини лінії, площі або об’єму геометричної моделі інформаційного комплексу в кількості квантів. Максимально можлива кількість квантів в заданих структурних габаритах визначає інформаційну ємкість системи. Інформаційна ємкість є число, що вказує кількість квантів в повному масиві інформації.

В комбінаторній мірі кількість інформації обчислюється як кількість комбінацій елементів, при чому враховуються можливі або реалізовані комбінації.

В багатьох випадках дискретне повідомлення можна розглядати як слово, що складається з деякої кількості елементів , які задані алфавітом, що складається з елементів-букв. Визначимо кількість різних повідомлень, які можна утворити із даного алфавіту. Якщо повідомлення складається з двох елементів (), то всього може бутирізних повідомлень. Наприклад, з десяти цифр (0, 1, 2,..., 9) може бути утворено сто різних чисел від 0 до 99. Якщо кількість елементів дорівнює трьом, то кількість різних повідомлень дорівнює, тощо.

Таким чином, кількість можливих повідомлень визначається згідно формули:

де – кількість повідомлень; – кількість елементів в слові; – алфавіт.

Чим більше , тим сильніше може відрізнятися кожне повідомлення від інших. Величинаможе бути прийнята в якості міри кількості інформації. Але вибір в якості міри кількості інформації пов'язаний із незручностями: по-перше, при L =1 інформація дорівнює нулю, оскільки завчасно відомий характер повідомлення (тобто повідомлення є, а інформація дорівнює нулеві); по-друге, не виконується умова лінійного додавання кількості інформації, тобто умова адитивності. Якщо, наприклад, перше джерело характеризується різними повідомленнями, а другий– , то загальна кількість різних повідомлень для двох джерел визначається добутком

.

Для джерел загальна кількість можливих різних повідомлень дорівнює

.

Тому Хартлі ввів логарифмічну (адитивну) міру кількості інформації, яка дозволяю оцінити кількість інформації, що міститься в повідомленні, логарифмом кількості можливих повідомлень:

.

Тоді при L=1 I=0, тобто інформація відсутня.

Для джерел інформації

,

тобто

.