- •Теорія інформації та кодування
- •Передмова
- •1. Дискретні джерела інформації
- •1.1. Теоретичні положення
- •1.2. Приклади розв’язання задач Задача 1.2.1
- •1.3. Задачі
- •2. Ефективне кодування
- •2.1. Теоретичні положення
- •2.2. Приклади розв’язання задач
- •Розв’язання. Необхідною умовою побудови нерівномірного коду, що однозначно декодується, є виконання нерівності Крафта. Підставивши значення довжин кодових комбінацій у (2.1), отримаємо
- •Задача 2.2.2
- •Задача 2.2.5
- •2.3. Задачі
- •3. Дискретні канали зв’язку
- •3.1. Теоретичні положення
- •3.2. Приклади розв’язання задач Задача 3.2.1
- •Задача 3.2.2
- •Задача 3.2.3
- •Задача 3.2.4
- •Задача 3.2.5
- •Задача 3.2.7
- •Задача 3.2.8
- •Задача 3.2.9
- •Задача 3.2.10
- •3.3. Задачі
- •4. Коди, їх класифікація та основні характеристики
- •4.1. Теоретичні положення
- •4.2. Приклади розв’язання задач Задача 4.2.1
- •Задача 4.2.2
- •4.3. Задачі
- •5. Двійково-десяткові та двійкові рефлексні коди
- •5.1. Теоретичні положення
- •5.2. Приклади розв’язання задач
- •5.3. Задачі
- •6. Штрихові коди
- •6.1. Теоретичні положення
- •6.2. Приклади розв’язання задач Задача 6.2.1
- •Задача 6.2.2
- •6.3. Задачі
- •7. Двійкові коди, що виявляють помилки
- •7.1. Теоретичні положення
- •7.2. Приклади розв’язання задач Задача 7.2.1
- •Задача 7.2.3
- •Задача 7.2.4
- •7.3. Задачі
- •8. Двійкові коди, що виправляють однократні помилки
- •8.1. Теоретичні положення
- •8.2. Приклади розв’язання задач
- •8.3. Задачі
- •9. Двійкові циклічні коди
- •9.1. Теоретичні положення
- •9.2. Приклади розв’язання задач
- •9.3. Задачі
- •10. Недвійкові коди
- •10.1. Теоретичні положення
- •10.2. Приклади розв’язання задач
- •10.3. Задачі
- •11. Стиснення повідомлень при передачі даних
- •11.1. Теоретичні положення
- •11.2. Приклади розв’язання задач
- •11.3. Задачі
- •12. Канальні коди
- •12.1. Теоретичні положення
- •12.2. Приклади розв’язання задач
- •12.3. Задачі
- •Література
- •Додатки Додаток а. Двійкові логарифми цілих чисел
- •Додаток б. Таблиця значень функції – p log 2 p
- •Додаток в. Десяткові коди країн, що використовуються при штриховому кодуванні
Задача 3.2.7
Знайти ймовірність того, що при передачі кодової комбінації двійкового коду довжиною n = 10 по біноміальному каналу з ймовірністю спотворення двійкового символу p = 0,01
– буде спотворено хоча б один символ;
– буде спотворено тільки перший, третій та четвертий символи;
– буде спотворено точно три символи на будь-яких позиціях;
– буде спотворено три або більше будь-яких символів.
Розв`язання. Ймовірність P ( 1,10 ) того, що буде спотворений хоча б один символ можна розрахувати, скориставшись виразом (3.17), однак простіше цю ймовірність знайти таким чином:
P ( 1,10 ) = 1 – P ( 0,10 ) = 1 – ( 1 – p ) 10 = 1 – ( 1 – 0,01 ) 10 = 0,095618.
Для приблизної оцінки ймовірності P ( 1, n ) спотворення кодової комбінації в біноміальному каналі іноді користуються виразом
P ( 1, n ) np, (3.23)
який отримують із точного виразу
P ( 1, n ) = 1 – ( 1 – p ) n = 1 – 1 + np – C p 2 + C p 3 –…– (–1) n C pn,
залишаючи в розкладанні ( 1 – p ) n за формулою бінома Ньютона тільки 1– np. Для даної задачі застосування (3.23) дає
P ( 1,10 ) 10 0,01 = 0,1 ,
що досить близько до точного значення.
Однак користуватись виразом (3.23) слід обережно, в чому можна пересвідчитись на такому прикладі. Нехай довжина кодової комбінації n = 120, а ймовірність спотворення двійкового символу p = = 0,01.Тоді
P ( 1,120 ) = 1 – ( 1 – 0,01 ) 120 = 0,70062 .
Застосування ж формули (3.23) дає
P ( 1,10 ) 1,2 ,
що значно відрізняється від точного значення, крім того результат є некоректним, оскільки значення ймовірності не може перевищувати одиницю. Вираз (3.23) можна використовувати тільки при np << 1.
Ймовірність P1,3,4 ( 10 ) спотворення тільки першого, третього та четвертого символів буде дорівнювати добутку ймовірностей безпомилкової передачі чи спотворення відповідно для символів, розташованих на усіх позиціях кодової комбінації:
P1,3,4 ( 10 ) = p 3 ( 1 – p ) ( 10 – 3 ) = 0,013 0,99 7 = 9,32065 10 – 7 .
Ймовірність P ( 3,10 ) спотворення точно трьох символів, розташованих на будь-яких позиціях, розраховується за формулою (3.16):
P ( 3,10 ) = C p 3 ( 1 – p ) 7 = 120 0,013 0,99 7 = 1,11847 10 – 4 .
Ймовірність P ( 3,10 ) спотворення трьох або більшої кількості символів в кодовій комбінації знайдемо таким чином:
Як бачимо, ця ймовірність незначно відрізняється від P ( 3,10 ).
Задача 3.2.8
Порівняти ймовірності спотворення точно і символів при передачі кодової комбінації двійкового коду довжиною n = 15 по біноміальному каналу із ймовірністю спотворення двійкового символу р = = 0,001 та по каналу з групуванням помилок, який описується моделлю Пуртова із таким же, які і для біноміального каналу, значенням середньої ймовірності помилки при передачі двійкового символу р = 0,001 та із коефіцієнтом групування = 0,5.
Розв’язання. Порівняння будемо проводити для кількості і помилок в кодовій комбінації від 0 до 4, оскільки модель Пуртова можна застосовувати тільки для i n / 3.
Значення ймовірностей Р ( і,15 ) для біноміального каналу знайдемо за виразом (3.16).
Для каналу із групуванням помилок ймовірності РГ ( і,15 ) спотворення точно і символів в кодовій комбінації отримаємо таким чином
РГ ( і,15 ) = Р ( і,15 ) – Р ( і + 1,15 ) ; i = 1,2,3,4
та РГ ( 0,15 ) = 1 – Р ( 1,15 ) .
З урахуванням (3.18) маємо при і > 0
Для р = 0,001 та = 0,5
Результати розрахунків Р ( і,15 ) та РГ ( і,15 ) для наведено у таблиці 3.2.
Таблиця 3.2
i |
0 |
1 |
2 |
3 |
4 |
Р ( і,15 ) |
0,985105 |
1,47910 – 2 |
1,03610 – 4 |
4,49610 – 7 |
1,3510 – 9 |
РГ ( і,15 ) |
0,996127 |
1,13410 – 3 |
5,02510 – 4 |
2,99610 – 4 |
2,04410 – 4 |
Аналіз даних таблиці показує, що ймовірність Р ( і,15 ) виникнення точно і помилок в кодовій комбінації при передачі її через біноміальний канал суттєво зменшується при збільшенні і. Для каналу із групуванням помилок це зменшення є набагато повільнішим.