18.Фундаментальна властивість ентропії випадкового процесу.

Особливе значення ентропія набуває у зв'язку з тим, що вона пов'язана з дуже глибокими, фундаментальними властивостями випадкових процесів. Покажемо це на прикладі процесу з дискретним часом і дискретним кінцевим безліччю можливих станів.

Назвемо кожне таке стан «символом», безліч можливих станів - «алфавітом», їх число m - «обсягом алфавіту». Число можливих послідовностей довжини n, очевидно, дорівнює mn. Поява конкретної послідовності можна розглядати як реалізацію одного з mn можливих подій. Знаючи ймовірності символів і умовні ймовірності поява наступного символу, якщо відомий попередній (у разі їх залежності), можна обчислити ймовірність P (C) для кожної послідовності С. Тоді ентропія безлічі {C}, за визначенням, дорівнює H _N =-ΣP (C) ⋅ log (P (C)). На множині {C} можна задати будь-яку числову функцію F _N (C), яка, очевидно, є випадковою величиною. Визначимо F _N (C) c допомогою співвідношення F _N (C) = - [1 / n] ⋅ logP (C). Математичне сподівання цієї функції M {F _N (C)} = ΣP (C) ⋅ F _N (C) = - [1 / n] ΣP (C) ⋅ log (P (C)),  M {- [1 / n] ⋅ log (P (C))} = H _N / N  Lim (M) {- [1 / n] ⋅ log (P (C))} = H. Це співвідношення є одним із проявів більш загального властивості дискретних Ергодична процесів. Виявляється, що не тільки математичне сподівання величини F _N (C) при n прагне до нескінченності має своїм межею H, але й сама ця величина F _N (C) прагне до H при n прагне до нескінченності. Іншими словами, як би малі не були e> 0 і s> 0, при достатньо великому n справедливо нерівність P {| [1 / n] ⋅ log (P (C)) + H |> ε} <δ тобто близькість F _N (C) до H при великих n є майже достовірною подією. Для більшої наочності сформульоване фундаментальна властивість випадкових процесів зазвичай викладають таким чином. Для будь-яких заданих e> 0 і s> 0 можна знайти таке no, що реалізація будь-якої довжини n> no розпадаються на два класи:1.група реалізацій, ймовірність P (C) яких задовольняє нерівності | [1 / n] ⋅ log (P (C)) + H | <ε 2..група реалізацій, ймовірності яких цьому нерівності не задовольняють.Сумарні ймовірності цих груп дорівнюють відповідно 1-s і s, то перша група називається «високоймовірною», а друга - «малоймовірною».Це властивість Ергодична процесів призводить до ряду важливих наслідків, з яких три заслуговують особливої ​​уваги.3. незалежно від того, якими є ймовірності символів і які статистичні зв'язки між ними, всі реалізації високоймовірною групи приблизно рівноймовірно. Це наслідок, зокрема, означає, що при відомій імовірності P (C) однією з реалізацій високоймовірною групи можна оцінити число N ₁ реалізацій в цій групі: N ₁ = 1 / P (C).4.Ентропія H _N з високою точністю дорівнює логарифму числа реалізацій в високоймовірною групі: H _N = n * H = log N ₁5.При великих n високоймовірною група зазвичай охоплює лише незначну частку всіх можливих реалізацій (за винятком випадку рівноймовірно і незалежних символів, коли всі реалізації рівноймовірно і і H = log m).Дійсно, зі співвідношення (9) маємо N ₁ = альфа ^NH

Суворе доказ фундаментального властивості Ергодична процесів тут не наводиться. Однак слід зазначити, що в простому випадку незалежності символів це властивість є наслідком закону великих чисел. Дійсно, закон великих чисел стверджує, що з імовірністю, близькою до 1, у довжиною реалізації i-й символ, що має ймовірність P _I зустрінеться приблизно NP _I раз. Отже ймовірність реалізації високоймовірною групи є P (C) = Π {P _I ^{N ⋅ P} _I } -log (P (C)) =-N ⋅ Σp _I ⋅ Log (P _I ) = n ⋅ N що і доводить справедливість фундаментального властивості в цьому випадку.