шпори / теорія / Білет 13 (30,20,4)

30. Визначити та охарактеризувати оцінки ефективності та достовірності методів кодування, застосованих у ТК системах

Оптимальне кодування. Достовірність передачі даних відображає ступінь відповідності прийнятого повідомлення переданому. Оцінкою достовірності служить коефіцієнт помилок. Оцінимо ефективність методу Шеннона - Фано, визначивши ентропію отриманого коду. Для цього визначимо ймовірності появи символів коду

коду. Для передачі інформації використовуються не всі можливі комбінації в кількості N =mn, а лише деяка їх частинаN0. При тому N0<N. Комбінації, використовуються для передачі інформації, називаються дозволеними, решта N

— Na комбінацій є забороненими, їх поява на виході каналу розглядається як наявність помилки. Таким чином, всі помилки, що призводять до переходу дозволених комбінацій у заборонені, можуть бути виявлені. У загальному випадку в результаті помилок дозволена комбінація може перейти в будь-яку з можливих у даному коді, тобто загальне число можливих помилок визначиться добутком NN0. З цього числа помилок буде виявлено

N0(N —N0). Відношення числа виявлених помилок до загального числа

можливих помилок називають коефіцієнтом виявлення коду:

( )

Ефективність використання того чи іншого коду визначається знанням характеру помилок у використовуваному каналі передачі. Застосування коригувальних кодів не гарантує безпомилковість прийому переданої інформації, підвищуючи лише вірогідність отримання достовірної інформації. Головне - це щоб характеристики реального каналу відповідали моделі побудові коду, тоді зростає ефективність його використання.

20. Оцінити інформаційні втрати при передаванні інформації дискретним каналом.

Якщо завад нема, або їх рівень настільки малий, що вони не можуть заглушити корисних сигнал, то при передачі аi ми будемо впевнені, що отримаємо bj – сигнал, що відповідає переданому сигналу ai . Події А та В статистично жорстко

кількість інформації у прийнятому ансамблі повідомлень В, дорівнює ентропії передаваємих повідомлень ансабля А, т. е. I (B, A) H (A) .

При високом рівні завад, будь-який із прийнятих сигналів bj може відповідати будь-якому переданому аi, статистичний зв’язок відсутній.

В цьому випадку p(bj / ai ) p(bj ); p(ai / bj ) p(ai ) .

H ( A / B) p(bj ) p(ai / bj ) log p(ai / bj )

ij

p(bj ) p(ai ) log p(ai ) p(bj )H ( A) H ( A) ,

інформації, що містить В, відносно А дорівнює нулю: I (A, B) H (A) H (A / B) 0 . Інформаційні характеристики реальних каналів зв’язку лежать між цими двома

граничними випадками. При цьому втрати інформації при передачі k символів по даному каналу зв’язку I kH (A / B) .

Якщо рівень завад настільки високий, що з рівною імовірністю можна очікувати перехід будь-якого символу джерела у довільних символ алфавіту, то

ентропія каналу зв’язку log2 m , а кількість інформації I H (A) . log2 m 0 , при цьому

значенні I може бути від’ємною величиною, що означає, що канал зв’язку вносить дезінформацію.

1. Міра Хартлі. Пояснити її властивості. Обґрунтувати застосування для вимірювання інформації.

Міра Хартлі – логарифмічна міра кількості інформації, яка дозволяє оцінити кількість інформації, яка міститься в повідомленні, логарифмом числа можливих повідомлень:

I log L log mn n log m ,

де m – кількість символів алфавіту, n – довжина повідомлення,

L – кількість можливих повідомлень.

Властивості:

При об’єднанні джерел повідомлень кількість можливих повідомлень

дорівнює добутку кількості можливих повідомлень кожного джерела, тобто при об’єднанні k джерел: L L1 L2 ... Lk .

Зі збільшенням числа елементів повідомлення пропорційно збільшується кількість інформації I. Таким чином, логарифмічна міра має властивість адитивності по відношенню кількості елементів повідомлення. Якщо загальне число джерел інформації дорівнює k, то кількість інформації від всіх джерел:

I I1 I2 ... Ik

Таким чином, логарифмічна міра володіє адитивністю по відношенню до кількості елементів повідомлення і по відношенню до кількості джерел повідомлень.

Вибір в якості міри кількості інформації незручний тим, що при додаванні

кількості інформації декількох незалежних джерел повідомлень не виконується умова лінійного додавання кількостей інформації, тобто умова адитивності.

Застосування логарифмічної міри кількості інформації є більш зручним. Так, як, в такому випадку, зберігається властивість адитивності.