Комбінаторне визначення кількості інформації з хартли

Нехай потужність деякого алфавіту A дорівнює m, тобто алфавіт складається з m дискретних символів, а кожне повідомлення включає n символів. У прийнятих позначеннях загальна кількість дискретних повідомлень, що може бути передано, дорівнює

. (3)

Приклад 1. Знайти загальну кількість дискретних повідомлень якщо повідомлення формується з двох символів ( ), що належать алфавітові з трьох букв ( ) А, В, С.

Відповідно до формули (3) число можливих повідомлень буде дорівнює , а саме АА, ВА, СА; АВ, ВВ, СВ; АС, ВС, СС.

Міра кількості інформації повинна задовольняти наступним вимогам:

• кількість інформації повинна дорівнювати нулю, якщо в системі можливий лише один результат;

• кількість інформації повинна мати властивість адитивності, тобто кількість інформації в повідомленні повинна бути пропорційна його довжині.

В цих умовах неважко бачити, що вираження (3) незручно брати як міру кількості інформації, тому що, по-перше, якщо вся безліч або ансамбль можливих повідомлень складається з одного повідомлення ( ), то інформація в ньому повинна бути відсутня, по-друге, якщо є два незалежних джерела повідомлень, кожне з яких має у своєму ансамблі і повідомлень, то загальне число можливих повідомлень від цих двох джерел , тобто є добутком, тоді як кількості інформації повинні складатися, і загальна кількість повинна бути прямо пропорційною числу символів у повідомленні. Тому за кількість інформації узятий логарифм числа можливих повідомлень

. (4)

Імовірне визначення кількості інформації за шенноном

Існує взаємозв'язок елементів у повідомленні. Зв'язок розуміється у імовірному змісті, тобто існує умовна імовірність появи (при даному алфавіті) символу «А» слідом за символом «В» – .

Нехай мається алфавіт , що складається з елементів (символів) , , … . Імовірності появи цих елементів у повідомленні відповідно рівні , , … . Складемо повідомлення, що містить довільних елементів алфавіту . Серед них буде елементів , елементів , ... , елементів . Імовірність появи кожної комбінації з елементів виразиться добутком імовірностей окремих елементів, тому що передбачається, що поява кожного елемента є незалежна подія. З урахуванням повторюваних елементів імовірність деякого повідомлення дорівнює

,

а імовірність появи -ro символу

.

Можна вважати, що всі можливих повідомлень (усі перестановки) рівноімовірні. Тому

,

відкіля число можливих повідомлень

. (5)

Логарифмуючи (5), одержимо середню кількість інформації в повідомленні довжиною при нерівноймовірності і незалежності його елементів:

. (6)

З вираження (6) неважко одержати (4) для випадку рівноймовірних подій ( ), тобто міра кількості інформації з ХАРТЛІ є частковим випадком кількості інформації за ШЕННОНОМ.