3. Основні теореми кодування

Якщо у інформаційній системі шуми нехтівно малі, то яким би чином не кодувалися повідомлення, втрат інформації не буде і основною є проблема ефективності кодування, тобто такого уявлення у абетці з m символів інформації, що міститься у ансамблі з N повідомлень x_n і заданим розподілом ймовірностей p_k = p(x_k), (k = 1,2,...,N₀), щоб кількість інформації на один символ кодового слова була максимальною. Індивідуальна кількість інформації у кодовому слові (повідомленні) I(x_k)=-log₂ p_k, середня кількість інформації у кодовому слові дорівнює ентропії джерела повідомлень

                                                                                                           (13)

а середня довжина кодового слова

                                                                                                                            (14)

залежить від способу кодування. Тому виникають питання принципового

характеру:

в яких межах знаходиться середня довжина кодових слів   , які за цього індивідуальні довжини кодових слів n_k , як залежать величини   та n_k, від розподілу ймовірностей ансамблю кодових повідомлень, щоб забезпечувались зазначені у розділі 1 вимоги до кодових слів (взаємно - однозначна відповідність повідомленням, роздільність при декодуванні, мінімальні довжини) ?

Індивідуальні довжини кодових слів, що задовольняють необхідним і достатнім умовам взаємно - однозначної відповідності повідомленням і роздільності (жодне кодове слово не є початком іншого більш довгого) визначається теоремою (нерівністю) Крафта

                                                                                                                             (15)

(Доведення. Нехай максимальна довжина слова у коді n_max, тоді можлива кількість цих слів  . З зазначених n_max символів жодні перші n_k символів не повинні співпадати з словами довжиною n_k (n = 1,2,...,N), отже кількість символів, не зайнятих словами довжиною n_k , дорівнює n_max - n_k . Таким чином, загальна кількість n_max - символьних слів, які можливо однозначно декодувати 

Поділивши цю нерівність на   дістанемо (15). )

 

Зв'язок між ентропією ансамбля повідомлень (13) і середньою довжиною слова (14) для системи без шумів визначається фундаментальною теоремою кодування (ФТК, Шеннон К.)

 

Для будь-якого ансамбля повідомлень з ентропією h(n) існує код з основою т, для якого середня довжина кодового слова   задовольняє нерівностям

                                                                                                         (16)

(Доведення: Умова взаємно-однозначної відповідності кодових слів повідомленням

          

Отже мінімальне ціле число n для найефективнішого коду (якщо він існує) задовольняє (16).

Доведемо, що такий код існує. Задамо n_k нерівностями

                                                                                 

 (у такому випадку для середніх значень виконується ( 16)

, тобто умова (16) задовольняє нерівності Крафта (15) )

Якщо відбувається не поелементне кодування, а поблочне: кодове слово ставиться у відповідність не одному повідомленню, а блоку з М повідомлень, то ФТК має вигляд

(Саме це є основним виразом ФТК)

За великої довжини кодових слів чинна Теорема асимптотичної рівноймовірності (Б. Макміллан (1953), А. Я. Хінчин (1956))

За великої довжини n>>1 ймовірність типових (найймовірніших) кодових слів

де H(m) - ентропія абетки коду.

(Доведення. У кодовому слові довжиною n>>1 кількість символів коду з ймовірністю p_i (i=1,2,...,m) за законом великих чисел дорівнює np_i, і ймовірність такого типового (найймовірнішого) слова за незалежності його символів

 

Наслідок. Всі типові слова практично рівно ймовірні і їх кількість

                                                                                                              (17)

За наявності у каналі зв'язку шумів основна вимога до кодування -завадостійкість, тобто можливість зведення ймовірності помилок (спотворень символів) до прийнятного рівня.

Завадостійкість коду і швидкість кодування (10) (кількість інформації, що кодується за одиницю часу) γвизначається теоремами Шеннона (прямою і  оберненою).

Пряма теорема кодування (Шеннон)

За будь-якої швидкості кодування, меншої ніж пропускна здатність каналу зв'язку, існує код, що забезпечує як завгодно малу ймовірність помилки.

(Доведення. Ймовірність помилки, це ймовірність появи на приймальному боці каналу зв'язку кодового слова, що не передавалося.

Для двосимвольного коду (n>>1) з ентропією , що відповідає пропускній здатності каналу зв'язку   ентропія на виході каналу   і за теоремою асимптотичної рівноймовірності кількість прийнятих типових слів 

За швидкості кодування  кількість всіх типових слів 

Отже ймовірність появи серед прийнятих кодового слова, що не передавалось - ймовірність помилки

Якщо γ < с ,   

то

Отже, при кодуванні довгими словами ймовірність помилки може бути як завгодно малою.)

Обернена теорема кодування.

За швидкості кодування γ більшої, ніж пропускна здатність с каналу зв'язку безпомилкова передача інформації неможлива: не існує коду, що забезпечує як завгодно малу ймовірність помилки.

 

Знайдемо залежність мінімальної ймовірності помилки 

для бінарного каналу:   і за формулою (19)

розділу 3.2. для Р_n = Р_min,

 

або 

Розв'язок цього рівняння наведений на малюнку:

 

Якщо     то 

(за прямою теоремою Шеннона)

Якщо     то 

Якщо     

 

Це означає що з усієї інформації на вході каналу зв'язку, доля інформації, що потрапляє на його вихід прямує до нуля: чим швидше кодується інформація тим менше її передається.