II.Розрахунок параметрів кодера і декодера простого коду

Вихідні дані:

- об'єм алфавіту джерела дискретних повідомлень М_а = 32;

- швидкість модуляції на виході кодера простого коду В = 2400 Бод;

- допустима ймовірність помилки знаку на виході декодера Р_зн = 4Е-7.

Вимагається визначити:

- тривалість двійкового символу (біта) на виході кодера ;

- довжину простого коду n;

- час передачі одного знаку Т_зн;

- допустиму ймовірність помилки біта на вході декодера .

Припускаємо, що кодування ведеться рівномірним кодом, при якому, на відміну від нерівномірного коду, більш прості в реалізації кодер та декодер.

Тривалість двійкового символу на виході декодера

.

Значність коду визначається з умови,що кількість можливих

комбінацій не менше обсягу алфавіту джерела. ,або

, .

Оскільки інші вимоги до коду не висуваються,то значність коду вибирається як мінімальне ціле число,при якому виконується нерівність .

Час передавання одного знака:

Припустима ймовірність помилки біта на вході декодера

визначається за умови,що помилки символів у каналі зв'язку (вихід кодера—вхід декодера) незалежні: Р_зн = 1 – (1 – р_б) ⁿ = 1 – (1 – np_б + 0,5n(n–1)p_б² – ... ). При Р_зн  1 , величина Р_зн буде визначатись складовим np_б, тобто

.

III. Розрахунок інформаційних характеристик джерела дискретних повідомлень.

Вихідні дані для розрахунку:

• обсяг алфавіту джерела =32;

• імовірність знаків Р( ), що утворять алфавіт джерела (передбачається, що знаки в повідомленнях незалежні);

• час передавання одного знака ;

Вимагається розрахувати:

• ентропію джерела Н(А);

• коефіцієнт надлишковості джерела ;

• продуктивність джерела .

Розрахункові формули та порядок розрахунку:

Ентропія джерела— середнє значення кількості інформації, що припадає на одне повідомлення джерела. Для цього параметру будемо використовувати позначення Н(А), де А— довільне повідомлення з алфавіту джерела. Величина ентропії джерела характеризує степінь невизначеності появи повідомлень. Вона визначається за формулою:

(3.1)

Але якщо імовірність появи всіх символів однакова то ентропія джерела дорівнює максимальній ентропії, що обчислююється за формулою:

(3.2)

Розглянемо властивості ентропії джерела:

1. Оскільки 0≤P(A)≤1, то ентропія джерела є величина додатня: H(A)≥0.

2. Ентропія джерела дорівнює нулю при умові , що ймовірність появи одного з повідомлень джерела дорівнює одиниці:

.

3. Ентропія джерела має максимум, якщо ймовірності появи для всіх повідомлень джерела є однаковими:

,

де m – кількість повідомлень, якими оперує джерело.

4. Ентропія джерела, яке складається з кількох незалежних джерел, дорівнює сумі ентропій цих джерел (зауважимо, що джерела інформації вважаються незалежними, коли поява повідомлень на виході одного джерела не залежить від того, які повідомлення появляються на виході інших джерел).

Звернемо увагу на такий факт: коли інформація від джерела інформації видається у вигляді написаного тексту і в цьому тексті є невелика кількість помилок у вигляді пропущених букв, то з такого тексту можна вилучити передавану інформацію. З цього спостереження можна зробити висновок, що джерело інформації видає суттєву (існуючі букви) і несуттєву (пропущені букви) інформацію. При передачі інформації у вигляді тексту несуттєва інформація є надлишковою. Отже, ми виявили ефект існування інформаційної надлишковості джерела. Для джерела з реальним розподілом імовірностей появи повідомлень маємо реальне значення ентропії джерела H(A) і можемо визначити максимально можливе значення ентропії джерела H_max(A),а отже можемо визначити різницю H_max(A) - H(A). Цей параметр називається надлишковістю джерела. Але ним незручно користуватися для джерел з різною кількістю повідомлень (H_max(A) для них буде різною). Усувається ця незручність нормуванням цього показника відносно H_max(A):

(3.3)

Параметр χ називають коефіцієнтом надлишковості джерела. Зауважимо, що значення коефіцієнта надлишковості джерела знаходиться в межах . Коефіцієнт надлишковості характеризує питому вагу інформації джерела, яку можна не передавати і при цьому втрат інформації не буде. Другими словами, джерело має суттєву і несуттєву інформацію. Надлишковість джерела – це власне несуттєва інформація джерела.

Продуктивність джерела − це швидкість появи інформації на виході джерела дискретних повідомлень. При умові, що повідомлення джерела є незалежними, продуктивність визначається за формулою: