шпори / теорія / 1-10

1.Пояснити сутність існуючих підходів до оцінювання кількості інформації

Вданий час в теорії інформації виділяється три основних напрямки: структурний, статистичний та семантичний.

Структурний - розглядає дискретну побудову масивів інформації та їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що передбачає просте кодування масивів.

I log N log mn n log m

де N – число повідомлень, яке можна отримати, комбінуючи m символів алфавіту за n елементами у повідомленні.

Статистичний напрямок оперує поняттям ентропії як міри невизначеності, котра враховує ймовірність появи тих чи інших повідомлень.

Семантичний напрямок враховує доцільність, цінність, корисність або істотність інформації.

Ці три напрямки мають свої певні області застосування. Структурний використовується для оцінки можливостей технічних засобів різних систем переробки інформації незалежно від конкретних умов їх застосування. Статистичні оцінки застосовуються при розгляді питань передачі інформації, визначенні пропускної здатності каналів передачі. Семантичні оцінки використовуються при вирішенні завдань побудови систем передачі інформації, розробці пристроїв, що кодують і при оцінці ефективності різних пристроїв.

2. Охарактеризувати властивості ентропії двійкових повідомлень

Ентропія – величина матеріальна та додатна. Для будь-якої кількості символів ентропія досягає максимуму за умови однакової ймовірності появи цих символів у повідомленні.

Ентропія бінарних (двійкових) повідомлень може змінюватися від нуля до одиниці (двійковий алфавіт, отже m=2).

Рис – Графік функції H Plog P (1 P)log(1 P)

3. (ст. 29) Ентропія. Дати визначення. Вивести основне співвідношення для неперервного повідомлення

Кількість інформації, що припадає на один елемент повідомлення, називається питомою інформативністю, або ентропією. Чим більше ентропія, тим більше інформації несе в собі повідомлення джерела, тим більша невизначеність знімається при отриманні повідомлення.

Неперервне повідомлення – це повідомлення, яке на кінцевому часовому інтервалі представляє собою деяку неперервну функцію часу. Неперервні повідомлення можуть приймати будь-які значення в деяких межах и є неперервними функціями часу. Особливістю неперервних повідомлень є те, що ймовірність появи кожного з окремих значень рівна нулю. Статистичні властивості неперервної величини характеризують функцією щільності ймовірності розподілу її значень р(х). Функцію р(х) називають також диференціальним законом розподілу величини х. Дана функція характеризує ймовірність попадання неперервної випадкової величини х в деякий елементарний інтервал значень x. Ця ймовірність визначається добутком р(х) Δx і прямує до нуля при зменшенні ширини інтервалу.

Таким чином ентропія:

H(x) p(xi ) x log[p(xi ) x]

i 1m

Таким чином попередня формула прийме вигляд:

H (x) p(x)log p(x)dx log x

Інформативність неперервних повідомлень, обумовлена їх статистичними властивостями, повністю визначається першим доданком, тоді як другий доданок залежить лише від обраного інтервалу Δx і є постійною величиною (при постійному Δx). Перший доданок називається диференціальної ентропією.

4. Міра Хартлі. Пояснити її властивості. Обґрунтувати застосування для вимірювання інформації.

Міра Хартлі – логарифмічна міра кількості інформації, яка дозволяє оцінити кількість інформації, яка міститься в повідомленні, логарифмом числа можливих повідомлень:

I log L log mn n log m ,

де m – кількість символів алфавіту, n – довжина повідомлення,

L – кількість можливих повідомлень.

Властивості:

При об’єднанні джерел повідомлень кількість можливих повідомлень дорівнює добутку кількості можливих повідомлень кожного джерела, тобто при об’єднанні k джерел: .

Зі збільшенням числа елементів повідомлення пропорційно збільшується кількість інформації I. Таким чином, логарифмічна міра має властивість адитивності по відношенню кількості елементів повідомлення. Якщо загальне число джерел інформації дорівнює k, то кількість інформації від всіх джерел:

I I1 I2 ... Ik

Таким чином, логарифмічна міра володіє адитивністю по відношенню до кількості елементів повідомлення і по відношенню до кількості джерел повідомлень.

Вибір в якості міри кількості інформації незручний тим, що при додаванні кількості інформації декількох незалежних джерел повідомлень не виконується умова лінійного додавання кількостей інформації, тобто умова адитивності.

Застосування логарифмічної міри кількості інформації є більш зручним. Так, як, в такому випадку, зберігається властивість адитивності.

5. Охарактеризувати логіку структурного підходу до вимірювання кількості інформації.

Структурний підхід - розглядає дискретну побудову масивів інформації та їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що передбачає просте кодування масивів.

Структурний напрямок розглядає дискретне повідомлення як слово, яке складається з n елементів з алфавіту, який складається у свою чергу з m елементів. Р. Хартлі запропонував у якості міри інформації використовувати логарифм числа можливих послідовностей символів:

I log L log mn n log m

де L – число повідомлень, яке можна отримати, комбінуючи m символів алфавіту за n елементами у повідомленні.

Структурний підхід використовується для оцінки можливостей технічних засобів різних систем переробки інформації незалежно від конкретних умов їх застосування.

Якщо маємо k джерел повідомлень, то кількість можливих повідомлень від

6. Ентропія дискретних повідомлень. Дати визначання. Пояснити різницю між «ентропія джерела» та «часткова ентропія».

Дискретним називаються повідомлення, що складаються з окремих елементів (символів, букв, імпульсів), що приймають кінцеве число різних значень.

Ентропія - це кількість інформації, що припадає на один символ повідомлення. Ентропія характеризує джерело повідомлень із заданим алфавітом і є мірою невизначеності, яка є в ансамблі повідомлень цього джерела. Чим більше ентропія, тим більше інформації несе в собі повідомлення джерела, тим більша невизначеність знімається при отриманні повідомлення. Ентропія дискретного джерела інформації визначається виразом:

де pi - ймовірність появи і-го символу.

Ця величина також називається середньої ентропією повідомлення.

7. Надмірність повідомлень. Оцінювання надмірності. Як проявляється надмірність реальних повідомлень (джерел).? Навести приклади.

Надмірність – термін з теорії інформації, який означає перевищення кількості інформації, яка використовується для передавання або зберігання повідомлення, над його інформаційною ентропією.

Абсолютна надмірність повідомлення Dабс характеризується різницею між максимально можливою кількістю інформації Hmах і ентропією реального

повідомлення: Dабс = Hmах – H

А відносна надмірність відповідно:

Ентропія дискретних повідомлень досягає максимуму при рівній імовірності елементів повідомлень. Ентропія неперервних повідомлень також за певних умов досягає максимального значення. Таким чином можна говорити про повідомлення, які є оптимальними в розумінні найбільшої кількості переданої інформації.

Однак умови, що забезпечують максимум ентропії, виконуються далеко не завжди. Тому ентропія реальних повідомлень найчастіше виявляється менше ентропії відповідного йому оптимального повідомлення. При однаковому числі елементів кількість інформації в реальному повідомленні буде менше, ніж в оптимальному.

Надмірність повідомлень приводить до збільшення часу передавання. Для зменшення надмірності треба збільшувати інформативність елементів повідомлення. В реальних системах для підвищення завадостійкості повідомлень, що передаються, надмірність вводять навмисно.

8. Типові повідомлення. Охарактеризуйте їхні властивості.

Повідомлення – це форма представлення інформації. Типові повідомлення – це повідомлення в яких відносна частота появи окремих елементів xi , тобто

i 1

Таким чином, в типове повідомлення досить великої довжини n буде входити ni pi n елементів виду хі, а ймовірності появи типових повідомлень р будуть однакові і можуть бути знайдені:

m

p pinpi i 1

Оскільки сумарна ймовірність всіх типових повідомлень прямує до одиниці при збільшенні довжини повідомлень, число типових повідомлень L можна визначити за формулою:

9. Визначити розподіли з максимальною ентропією для реальних обмежень

Практичне значення мають два випадки:

1) Значення повідомлення обмежені інтервалом a x b

При цьому обмеженні інформативність буде максимальна, якщо значення

2)Середньоквадратичне значення повідомлення обмежено

2 D (const)

Для цього обмеження максимальна ентропія характерна для нормального

10. Встановити зв’язок між оцінками кількості інформації за наявності та відсутності статистичних зв’язків між повідомленнями джерел.

Ентропія – це кількість інформації, що приходиться на один елемент

за умови, що став відомий елемент повідомлення .

Інформативність повідомлення Y після того, як став відомий елемент , характеризується частковою умовною ентропією, яка визначається виразом:

n

H Y xi p y j xi log p y j xi .

j 1

Загальна умовна ентропія повідомлень Y відносно повідомлень X:

інформації в повідомленнях Y, коли відомо, що передаються повідомлення X.

Використовуючи співвідношення теорії ймовірностей, можна показати, що умовна ентропія повідомлень Y відносно повідомлень X при жорсткій статистичній залежності (тобто, коли одна із ймовірностей в строці таблиці рівна одиниці, а всі решта – нулю) рівна нулю, тобто в повідомленнях Y немає ніякої нової інформації. При статистичній незалежності повідомлень X та Y умовна ентропія рівна безумовній ентропії повідомлень .