- •1.1. Повідомлення та інформація
- •1.2. Моделі інформаційних систем
- •1.4. Предмет теорії інформації та кодування
- •2.2. Кількісна міра інформації
- •2.3. Ентропія та її властивості
- •2.4. Безумовна ентропія
- •2.5. Умовна ентропія
- •2.6. Ентропія об'єднання двох джерел
- •3.1. Продуктивність дискретного джерела та швидкість передачі інформації
- •4.1. Квантування сигналів
- •4.2. Інформаційні втрати
- •4.3. Продуктивність неперервного джерела та швидкість передачі інформації
- •IhlilhM
- •4.4. Пропускна здатність . . . .
- •5.1. Класифікація кодів і характеристики їх
- •5.4. Способи подання кодів
- •5.6. Основні теореми кодування для каналів
- •6.1. Класифікація первинних кодів
- •6.2. Нерівномірні двійкові первинні коди
- •6.2.1. Код морзе
- •6.2.2. Число-імпульсні коди
- •6.3. Рівномірні двійкові первинні коди
- •6.3.1. Числові двійкові коди
- •6.3.2. Двійково-десяткові коди
- •6.3.4. Двійково-шістнадцятковий код ;;.-,-.
- •6.3.5. Рефлексні коди
- •7.1. Двійкові коди,
- •7.1.2. Код із перевіркою на непарність
- •7.1.3. Код із простим повторенням
- •7.2. Недвійкові коди, що виявляють помилки
- •7.2.1. Код із перевіркою за модулем q
- •7.2.2. Код із повторенням
- •8"6 90472 "100562 І' • шТрИховє зОбраЖєння кодового сло-
- •8.1. Двійкові групові коди
- •8.1.1. Лінійний систематичний груповий (блоковий) код
- •8.1.2. Коди хеммінга
- •8.1.4. Коди боуза - чоудхурі - хоквінгема
- •8.1.5. Код файра
- •8.1.6. Код із багатократним повторенням
- •8.3.2. Узагальнений код хеммінга
- •8.3.3. Коди боуза - чоудхурі - хоквінгема
- •8.3.4. Коди ріда - соломона
- •8.3.6. Недвійковий ланцюговий код
- •9.1. Вірогідність передачі кодованих повідомлень
- •9.2. Стиснення інформації"
- •9.2.1. Способи стиснення даних при передачі
- •9.2.2. Способи стиснення даних при архівації
- •Збіжного рядка
- •9.3. Збільшення основи коду
- •0Сзезс99е8с0е1с10d1c242d5c3d2c6d8cbd6e8c0
- •VosooooooooooooooooOvJvJ
1.2. Моделі інформаційних систем
Під інформаційною розумітимемо будь-яку систему, яка за допомогою технічних засобів виконує одну або кілька таких функцій, як збирання, передавання, перетворення, накопичення, зберігання та оброблення інформації.
За функціональною ознакою інформаційні системи можна поділити на: системи електрозв'язку; системи передачі даних; інформаційно-вимірювальні системи; системи перетворення інформації; інформаційно-пошукові системи; системи зберігання інформації; автоматизовані системи управління; системи експериментальних досліджень.
Найпоширенішими в повсякденному житті є системи електрозв'язку та передачі даних, які можна об'єднати назвою систем передачі інформації {СШ). Як приклад розглянемо роботу одноканальної системи передачі даних, структурну схему якої для передачі інформації в одному напрямку зображено на рис. 1.1. Тут ДП і ОП — відповідно джерело і одержувач повідомлення; 77вх і /7ВИХ — відповідно вхідний та вихідний перетворювачі; К1, К2 — кодери;ДА7,Д/С2 — декодери; М — модулятор; ДМ — демодулятор.
Лінія зв 'язку — це фізичне середовище, в якому поширюються сигнали.
Каналом зв язку називається сукупність технічних засобів, що забезпечує передачу повідомлень від джерела до одержувача
10
ЧгкЩї
Завада
МИ
К1
ДП
Лінія зв'язку
Кодер
(Ук.з,>
{**>
{*,>
W.3,}
|
|
|
|
-т |
|
|
|
|
|
|
|
І . ) |
ДМ |
І |> |
ДК2 |
-> |
ДК1 |
|
-т> |
' 'вих |
—> |
оп І |
|
І w І 1 |
|
' І І І 1 |
|
І І |
Декодер |
І І 1 |
|
|
|
||
Ш
Ы,
(ynJ
Рис.
М 1.1
по одній лінії зв'язку незалежно від передачі повідомлення від інших джерел до інших одержувачів.
Сукупність лінії зв'язку, модулятора та демодулятора (пристроїв перетворення сигналів) утворює неперервний канал передачі інформації, а якщо до цієї сукупності додати ще кодер і декодер, то дістанемо дискретний канал цієї передачі.
Модулятор і демодулятор, конструктивно об'єднані в одному блоці, називаються модемом, а конструктивне об'єднання кодера та декодера — кодеком.
Нехай джерело повідомлень ДП за допомогою вхідного перетворювача Явх створює випадкову дискретну послідовність сигналів {я,}, яка подається на кодувальний пристрій кодера К1, призначеного для перетворення первинної послідовності сигналів {х(} на послідовність {хкі} (див. рис. 1.1). Це перетворення необхідне для більш ефективного використання лінії зв'язку, а також для перетворення дискретної послідовності сигналів одного алфавіту на дискретну послідовність іншого алфавіту.
Далі послідовність сигналів {хк/} кодером К2 перетворюється на дискретну випадкову послідовність сигналів {хк 3/}. Кодер К2 виконує функції пристрою захисту інформації від помилок, Кодуючи комбінації первинного коду коректувальним кодом, який виявляє та виправляє помилки, що дає змогу зменшити вилив завад і спотворень на інформацію, яка передається. У свою чергу, послідовність сигналів {хк 3/} після їх модуляції в модуляторі М перетворюється на випадкову послідовність сигналів {ук 3/}, що однозначно відповідає послідовності {хк 3/}.
11
Під способом передачі сигналів розуміють сукупність операцій перетворення повідомлення на сигнал [5], яку можна подати так:
<Л.зД0}=Лпрд{х(.}=ЛмЛк {*,.}, (1.1)
де Лпрд — оператор способу передачі сигналів; Лм — оператор їх модуляції; Лк — оператор кодування сигналів.
Сигнали при передачі по лінії зв'язку загасають, піддаючись дії завад і спотворень, що спричинює значні відхилення послідовності сигналів на вході приймача {упз/(0} В*Д переданої в лінію послідовності сигналів {yK3i(t)}, тобто
tKn.31-(0) = Лл0>„з,-(')} = ЛлЛпрд {Х;}, (1.2)
де Лл — оператор лінії зв'язку.
Якщо в лінії є адитивна завада у вигляді випадкового процесу со (/), то на вході приймача діятиме неперервний випадковий процес
Л(0={л,з,(0}+ю(0- (1.3)
У приймачі після підсилення сигналів, яке необхідне для компенсації загасання їх у лінії зв'язку, сигнали демодулюються в демодуляторі ДМ. На виході останнього утворюється дискретна послідовність сигналів {у'п 3/(/)}, яка має відповідати послідовності сигналів {yK3i(t)} на виході модулятора М. Цього, однак, може й не бути через дію завад і спотворень у лінії та похибки перетворень сигналів у модуляторі та демодуляторі. Після декодування сигналів декодером ДК2 послідовність {у'П 3/} перетворюється на послідовність кодових комбінацій сигналів {х'кі}, яка має відповідати переданій послідовності сигналів {хкі}. Ця послідовність залежатиме від властивостей лінії зв'язку, способу приймання сигналів і коректувального коду, що використовується для їх передачі.
Після декодера ДК1, який перетворює послідовність сигналів {х'кі} на послідовність {х',}, дискретна послідовність сигналів подається (в разі необхідності перетворення дискретних сигналів на неперервну форму) на вихідний перетворювач Явих, з виходу якого вона спрямовується до одержувача повідомлення ОП.
Сукупність операцій перетворення сигналів на повідомлення називається способом їх приймання, який можна відобразити так:
К) =лпрмь,.(0] = лпрм[{7п.3/.(0} +<о(0], (1.4)
де Л = ЛДМЛДК — оператор способу приймання сигналів; Адм — оператор їх демодуляції; Лдк— оператор декодування сигналів.
З урахуванням (1.1) і (1.4) процес передавання дискретної інформації можна подати у вигляді
{*',} * Л^ [ЛЛЛМЛК {*,} + 0) (0]. (1.5)
Завдання, яке необхідно вирішити при побудові СПІ, полягає в тому, щоб дістати послідовність сигналів {х^}, яка найменше відрізняється від переданої послідовності сигналів {х,}, і забезпечити при цьому високі техніко-економічні показники системи — швидкість передачі інформації, її вірогідність, прийнятну вартість тощо. При побудові СПІ, як правило, задаються ансамблем повідомлень джерела та параметрами лінії (каналу) зв'язку.
Одним з основних завдань при проектуванні СПІ є вибір способу передавання інформації, від якого значною мірою залежатимуть рішення щодо вибору окремих вузлів і блоків системи.
У багатоканальних СПІ на відміну від одноканальної забезпечується одночасна та взаємно незалежна передача по одній загальній лінії повідомлень від багатьох джерел (відправників). Спрощену структурну схему СПІ з частотним поділом сигналів показано на рис. 1.2, де УЯпрд і УП — відповідно ущільнювальні пристрої передавача та приймача. Решта блоків багатоканальної СПІ за призначенням не відрізняються від одноканальної. За допомогою ущільнювальних передавальних і приймальних пристроїв розносять спектри сигналів, які передаються різними каналами, в діапазоні частот, що відводиться в лінії зв'язку для організації п каналів передачі інформації. В цілому процес математичного опису такої системи не відрізняється від аналогічного опису одноканальної СПІ.
1.3. МАТЕМАТИЧНІ МОДЕЛІ КАНАЛУ ЗВ'ЯЗКУ
Від вибору каналу зв'язку залежить не тільки кількість інформації, яку можна передати від передавача до одержувача повідомлень, а й швидкість передачі інформації та її вірогідність.
У той же час точний математичний опис будь-якого реального каналу зв'язку досить складний. Тому на практиці, як правило, користуються більш спрощеними математичними моделями, які дають змогу визначити основні закономірності каналів. При Побудові таких моделей враховуються найсуттєвіші особливості каналу зв'язку і відкидаються другорядні чинники, що майже не впливають на якість зв'язку.
Розрізняють математичні моделі неперервних і дискретних каналів зв'язку [10, 11, 33]. Розглянемо більш детально першу
12
13
групу
цих моделей, зазначивши, що на вхід
неперервного каналу можуть надходити
будь-які сигнали зі спектром, який
лежить у повній смузі частот і
характеризується обмеженою середньою
або піковою потужністю.
Ідеальний канал зв 'язку без завад — це лінійне коло зі сталою функцією передачі, що звичайно зосереджена в обмеженій смузі частот, де завади будь-якого виду відсутні. Вихідний сигнал при заданому вхідному буде детермінованим.
Ця модель каналу зв'язку частіше застосовується для опису кабельних каналів дуже короткої довжини, де наявність адитивних завад ще не відчувається.
Канал зв'язку з адитивним гауссовим шумом — це канал з «білим» або «квазібілим» (з рівномірною спектральною щільністю в смузі спектра сигналу) шумом, у якому коефіцієнт передачі та час затримки сигналів не залежать від часу й є відомими детермінованими величинами. Вихідний сигнал такого каналу визначається виразом
z(t) = kns(t-z) + w(t), (1.6)
де s (/) — вхідний сигнал; кп — коефіцієнт передачі; т — час затримки сигналу в каналі; w (t) — гауссовий адитивний шум з нульовим математичним сподіванням і заданою кореляційною функцією.
Якщо змінити початок відліку часу на виході каналу, то запізнення т сигналу можна не враховувати.
Модель (1.6) застосовується для опису реальних проводових каналів зв'язку й однопроменевих радіоканалів без завмирань на метрових хвилях для зв'язку в межах прямої видимості, а також радіоканалів з повільними завмираннями, для яких можна надійно передбачити значення кп та т.
Канал з невизначеною фазою сигналу — це канал, який відрізняється від попереднього тим, що в ньому запізнення т є випадковою величиною. Вихідний сигнал такого каналу визначається виразом
z (0 = кп [s (г) cos вк+ j (0 sin в J + w (0, (1.7)
де І (0 — перетворення Гільберта від s (/); 0К = со0х — випадкова початкова фаза, причому розподіл імовірностей 0К найчастіше задається рівномірним в інтервалі від 0 до 2п.
Модель (1.7) використовується для опису тих самих каналів зв'язку, що й попередня, якщо фаза сигналу в них змінюється. Дя флуктуація фази пояснюється незначними змінами довжини каналу, фазовою нестабільністю генераторів носійної час-
15
тоти,
а також незначними змінами властивостей
середовища, через яке передається
сигнал.
Однопроменевий гауссовий канал із загальними завмираннями (флуктуаціями амплітуд і фаз сигналу) також описується виразом (1.7), але тут, крім запізнення т, випадковими вважаються також коефіцієнт передачі кп та фаза 9К, тобто випадковими є квадратурні компоненти
X = kncosBK; Y=knsinQK.
Тоді, якщо врахувати зміну квадратурних компонентів X(t) і Y(t) в часі, вихідний сигнал каналу визначиться виразом
z{t) = X{t)s{t)+Y{t)m + w{t) =
= kn (t) [s (0 cos Єк (0+ s (t) sin 0K (r)] + vv (/).
Розподіл коефіцієнта передачі kn (t) може бути релеєвським або узагальненим релеєвським [10, 33]. Звідси походять і відповідні назви каналів зв'язку: з релеєвськими або з узагальненими релеєвськими завмираннями.
Модель (1.8) досить добре описує більшість радіоканалів різних хвильових діапазонів і проводових каналів з випадковими та змінними параметрами.
Гауссовий багатопроменевий канал з завмираннями та адитивним шумом (канал з міжсимвольною інтерференцією та адитивним шумом) є каналом, у якому сигнали від передавача до приймача поширюються кількома шляхами (каналами), причому тривалість проходження їх і коефіцієнти передачі каналів є неоднаковими та випадковими. Крім того, в таких каналах випадкова імпульсна реакція G (t, т) від часу t не залежить (або змінюється дуже повільно), так що розсіяння за частотою практично не спостерігається.
Причиною міжсимвольної інтерференції є розсіяння сигналу в часі при проходженні по каналу, що спричинюється головним чином нелінійністю фазочастотної характеристики каналу або поширенням сигналу кількома шляхами. В разі міжсимвольної інтерференції на виході каналу сигнал, який описується виразом (1.8), деформується так, що одночасно присутніми є відгуки каналу на частини вхідного сигналу, які припадають на досить віддалені моменти часу. При передачі дискретних повідомлень це зводиться до того, що під час приймання одного елемента (символу) на вході приймального пристрою діють також відгуки на попередні, а іноді й на більш пізні елементи (символи), які є завадами і призводять до спотворення сигналу, що приймається.
h 69"ЧV? Вихідний сигнал такого каналу визначається виразом
d (1-9)
z(0= lsr(t-rT)-¥w(t) = s0(t) + gMi(t)+w(tl
D .
де X sr (t - rT ) = g M J (/) — сигнал міжсимвольної штерферен-
r = -Q
ції, зумовлений елементами (символами), які передані до та після сигналу, що аналізується; w (/) — адитивний шум у каналі; sQ(t) — сигнал, обумовлений елементом (символом), який аналізується.
Модель (1.9) застосовується для опису радіоканалів з бага-топроменевим поширенням сигналів, а також проводових каналів значної довжини, де відчувається вплив фазочастотних спотворень їх.
Моделі дискретного каналу. При побудові моделей дискретних каналів треба враховувати, по-перше, те, що для них вхідними та вихідними сигналами є послідовності кодових елементів (символів), і, по-друге, те, що розподіл умовних імовірностей вихідного сигналу залежить від заданого вхідного розподілу. Тому для визначення вхідних сигналів досить указати кількість q різних символів (алфавіт або основу коду), а також довжину Г кожного символу. Якщо значення Г вважати однаковими для всіх символів, то величина v = 1/Г визначатиме кількість символів, які передаються за одиницю часу. Ця величина називається технічною швидкістю передачі (швидкістю модуляції сигналів) [33] і виражається в бодах.
Нехай синхронізація в каналі ідеальна і кожний символ, що подається на його вхід, зумовлює появу одного вихідного символу, тобто технічна швидкість передачі на вході та виході каналу однакова. Отже, всі вхідні та вихідні послідовності (вектори) завдовжки п, кількість яких дорівнює qJ\ утворюють кінцевий «/"-вимірний векторний простір.
Для оцінки правильності прийнятої послідовності символів визначають різницю між прийнятою та переданою послідовностями порозрядним відніманням їх за модулем q. При цьому дістають вектор помилки. З цього випливає, що проходження дискретного сигналу через канал можна розглядати як додавання вхідного вектора з вектором помилки, тобто останній в дискретному каналі відіграє таку саму роль, як завада в неперервному каналі.
Таким чином, для будь-якої моделі дискретного каналу можна записати
І00 = Л("> + £<">, _____ _,
16
де
А^ і Л^п) — випадкові
послідовності п символів на вході
та виході каналу; Е№ — випадковий
вектор помилки, який у загальному
випадку залежить від А^п\
Відомі моделі дискретних каналів різняться розподілом імовірностей вектора ESn\ Розглянемо деякі з них.
Симетричний канал без пам 'яті — це дискретний канал, у якому ймовірність помилкового приймання символу не залежить від передісторії, тобто від того, які символи передавалися раніше та як вони були прийняті. В такому каналі кожний переданий кодовий символ може бути прийнятий помилково з фіксованою ймовірністюр і правильно з імовірністю 1 -р, причому в разі помилки замість переданого символу а може бути з однаковою ймовірністю прийнятий будь-який інший символ з алфавіту q.
Таким чином, імовірність того, що був прийнятий символ а. замість переданого символу at, можна визначити так:
Piaj/a^i^-1 ПРИ .(** (1.11)
J l [1-р при і = у.
Імовірність будь-якого «-вимірного вектора помилки в такому каналі визначається виразом
р (£<»>) = \р/(я-\)Г(1-р)п-\ (1.12)
де v — кількість ненульових символів у векторі помилки (вага помилки).
Імовірність виникнення v будь-яких помилок (і в будь-якому порядку) у векторі завдовжки п можна знайти за формулою Бернуллі
^)=О-£т)у0-/>г\ (і.із)
де С% = п\ І [v! (п - v)!] — біномний коефіцієнт, який дорівнює кількості різних сполучень v помилок у послідовності з п елементів.
Модель (1.13) ще називається біномним каналом. Вона використовується тоді, коли в неперервному каналі, що входить до складу дискретного, відсутні завмирання й є тільки адитивний «білий шум» (у крайньому разі — «квазібілий»).
Симетричний канал без пам 'яті зі стираннями відрізняється від попереднього тільки введенням у початкову послідовність символів додаткового символу, що позначається знаком «?», який використовується тоді, коли розв'язувальна схема демодулятора не може надійно розпізнати переданий символ. За-
ндяки введенню цього додаткового елемента стирання досяга-< гься значне зменшення ймовірності помилки.
Несиметричний канал без пам 'яті відрізняється від симетри-чного тим, що помилки виникають у ньому незалежно одна від одної, але ймовірність їх залежить від того, який символ передається. Так, для двійкового (бінарного) несиметричного каналу (q = 2) ймовірність Р(\/0) приймання символу «1» при передачі символу «0» не дорівнює ймовірності Р(0І\) приймання символу «0» при передачі символу «1». У цій моделі ймовірність вектора помилки залежить від послідовності символів, які передаються.
Марківська модель є найпростішою моделлю дискретного каналу з пам'яттю. Ймовірність виникнення помилки в цій моделі утворює просте коло Маркова, тобто залежить від того, правильно чи помилково прийнято попередній символ, але в гой же час не залежить від того, який символ передається. Ця модель застосовується тоді, коли в неперервному каналі з гаус-совим шумом використовується відносна фазова модуляція [33].
Канал з адитивним дискретним шумом є узагальненою моделлю дискретних каналів, де ймовірність виникнення вектора помилки Е№ не залежить від послідовності символів, які передаються. При цьому ймовірність виникнення кожного вектора помилки вважається заданою і взагалі не визначається його вагою. У багатьох двовекторних каналах з однаковою вагою більш імовірним є той, в якому присутні пачки (пакети) помилок або помилки розташовані ближче одна від одної.
