5.4. Способи подання кодів

Код кожного виду має свій найраціональніший спосіб по­дання, що випливає з його властивостей. Проте відомо також кілька загальних способів подання кодів, які є досить універ­сальними і можуть застосовуватися для опису широких кла­сів кодів. До цих способів належать подання кодів у вигляді: 1) таблиць кодових комбінацій; 2) кодового дерева; 3) геомет­ричної моделі; 4) матриці.

Перший спосіб полягає в поданні коду у вигляді таблиці всіх його комбінацій. Наприклад, п'ятиелементний двійковий бло­ковий код зі сталою вагою, в кожній комбінації якого містяться три одиниці, задається так:

ер кодової	Комбінація двійкового
мбінації	блокового коду з вагою 3
1	00111
2	01011
3	01101
4	01110
5	10011
6	10101
7	10110
8	11001
9	11010
10	11100

Цей спосіб застосовується для подання будь-яких блокових кодів, але не може бути використаний для неперервних кодів.

Другий спосіб подання кодів полягає в зображенні комбінацій коду у вигляді кодового дерева, коли комбінації розміщуються в його вузлах. Під кодовим деревом розумітимемо графічний образ, який складається з точок і ліній, що розходяться від них і також закінчуються точками. Останні називатимемо вузлами, а лінії, які їх з'єднують, — ребрами. Перший вузол, від якого починається розходження ребер, називається коренем дерева, а

кількість ребер, які треба пройти від кореня до будь-якого вуз­ла —рівнем, або порядком, цього вузла.

Максимальна кількість вузлів, які зустрічаються під час руху вздовж кодового дерева в напрямку від кореня до вершини, визначає висоту h кодового дерева. Вона дорівнює максима­льній довжині комбінації коду, побудованому за допомогою цього дерева.

Вузли кодового дерева розташовуються на різних рівнях. Кожний рівень дерева рівномірного коду може мати q^l вузлів, де q — основа коду, ■/ — номер рівня (/ = 1,2,...,«, тут п — дов­жина коду). Для рівномірного двійкового простого коду кіль­кість вузлів на останньому рівні п дорівнює кількості N комбі­націй коду, тобто 2^п - N.

Вузли, що не з'єднуються з наступними рівнями, називаються кінцевими; вони відповідають комбінаціям коду.

ооо ооі то он іоо юі по т ооо

б г

Рис. 5.1

Основою коду обмежується максимальна кількість ребер, яка може виходити з кожного вузла дерева, а максимальною дов­жиною кодової комбінації — максимальна кількість рівнів ко­дового дерева. Кожному вузлу приписується значення розря­дів комбінації, що відповідає напрямкам руху вздовж ребер від кореня дерева до вузла. Ребра, що йдуть від кореня до вузлів першого рівня, визначають значення першого зліва розряду кодової комбінації, а ті, що з'єднують вузли першого та другого рівнів, — значення другого зліва розряду і т. д. На рис. 5.1 по­казано приклади кодових дерев: рівномірних двоелементного

82

83

двійкового (рис. 5.1, а), двоелементного трійкового (рис. 5.1,6), триелементного двійкового (рис. 5.1, в) та нерівномірного двій­кового (рис. 5. 1, г). Цей спосіб застосовується для зображення як блокових, так і неперервних кодів.

За допомогою кодових дерев легко зобразити префіксні коди, що мають властивість префікса й можуть бути утворені послі­довним викреслюванням останнього розряду кодової комбіна­ції, причому жодна з комбінацій даного префіксного коду не може бути префіксом його комбінації. Наприклад, префіксами кодової комбінації 10111001 будуть 1, 10, 101, 1011, 10111, 101110, 1011100, 10111001, тобто для однозначного її декоду­вання жодна з комбінацій цього коду не повинна мати перелі­чені вище комбінації.

Та частина, яка доповнює префіксний код до повної кодової комбінації, утворює суфікс, тобто кожна кодова комбінація складається з префікса та суфікса.

Префіксні коди можна утворити за допомогою кодового де­рева, в якого немає вершини і кожний його кінцевий вузол від­повідає комбінації префіксного коду.

Третій спосіб подання кодів полягає в зображенні комбіна­цій коду точками дискретного «-вимірного векторного просто­ру. Так, кожну комбінацію рівномірного блокового коду (з ос­новою # і довжиною п) V=(V_n,V_n__l,...,V₂, Fj) можна розглядати як вектор або точку деякого «-вимірного векторного простору з координатами V_n, V_n_ _v ..., К₂, V_v Якщо значення q скінчен­не, а будь-яка координата вектора є цілим додатним числом від 0 до q - 1, то зазначений код можна розглядати як дискретний «-вимірний простір, що складається з N = qⁿ точок, які відпові­дають кінцям усіх можливих векторів.

Цей «-вимірний простір дістав назву кодового. Кількість просторових вимірювань кодового простору для коду з будь-якою основою дорівнює довжині п коду, а кількість градацій по кожній з осей (напрямків вимірювання) визначається осно­вою коду і становить q - 1.

Якщо для дискретного «-вимірного простору, що тут роз­глядається, ввести поняття кодової відстані d між точками V. та Vp то матимемо

d(v_i,Vj)=i(v_ki-v_kj). ...,,■ ,:;\.,„.: (5.2)

Цілком природно, що для простору з відстанню (5.2), як і для будь-якого іншого кодового простору, d(V_t,Vj) = d(VpV_t).

Одним з основних параметрів коду з довільною основою q, що визначають його завадостійкість, є мінімальна кодова відстань d_m[n. На відміну від кодової відстані d, що визначає

кількість станів, які мають пройти якісні ознаки кодової ком­бінації, щоб опинитися в стані, який відповідає порівнюваній кодовій комбінації, мінімальна кодова відстань характеризує не дві окремо взяті комбінації, а код у цілому, і визначається мінімальною кількістю якісних ознак, за якими відрізняються одна від одної будь-яка пара комбінацій цього коду.

Для визначення кодової відстані між комбінаціями коду з основою q треба виконати їх порозрядне віднімання за моду­лем q. Кодова відстань дорівнює вазі комбінації, що склада­ється з різниці значень комбінацій, між якими визначається ця відстань.

З'єднавши кожну точку простору, що розглядається, прями­ми лініями з усіма точками, віддаленими на відстань d( V_i9 V) = 1, дістанемо геометричну фігуру сіткової структури. Цю фігуру називають геометричною моделлю «-елементного д-коду.

Точки дискретного простору, які містить ця геометрична фігура, називаються її вершинами, а лінії, що їх з'єднують, — ребрами.

На рис. 5.2 зображено геометричні моделі деяких кодів. Мо­деллю будь-якого двозначного набору якісних ознак (дво­елементного коду) є фігура двовимірного простору — квадрат (рис. 5.2, а) або фігура, що складається з квадратів (рис. 5.2, б, д); моделлю будь-якого тризначного набору якісних ознак (триелементного коду)— фігура тривимірного простору — куб (рис. 5.2, в) або фігура, що складається з кубів (рис. 5.2, г, ё).

Побудова моделі чотиризначного набору якісних ознак (чо­тириелементного коду), тобто фігури чотиривимірного прос­тору, можлива, якщо тривимірний куб або кожну з його вер­шин змістити в новому напрямку. Взагалі в цьому разі «-вимір­ний куб повинен мати 2« вершин, « • 2^п ~ ¹ ребер, «(« - 1) • 2^п ~³ граней, а найвіддаленіша від певної його вершини точка має знаходитися на відстані « ребер.

Розглянемо більш докладно властивості, що випливають з геометричної фігури, яка є моделлю «-елементного двійкового коду й дістала назву п-вимірного куба. Відстань між будь-яки­ми його вершинами, тобто між двома кодовими комбінаціями, згідно з (5.2) можна визначити як кількість розрядів, якими вони різняться. Так, відстань між комбінаціями 010 і 100 дорівнює двом, оскільки вони різняться елементами в двох розрядах — першому та другому.

Відмінність елементів однойменних розрядів комбінацій двій­кового коду легко визначити, застосувавши до них операцію додавання за модулем 2. Як відомо з п. 5.2, результат такого додавання тільки тоді дорівнює 1, коли числа, що додаються, різняться. З урахуванням цього відстань між будь-якими дво-

84

85

(5.3)

ма комбінаціями «-елементного двійкового коду (вершинами «-вимірного куба) визначається виразом

к=\

<t(Wj)=l(V_ki®V_kJ).

Відстань між комбінаціями V. та V. можна знайти також че­рез кількість одиниць у деякій комбінації V_t [або через її вагу

и>( Vf)], здобуту після додавання за модулем 2 комбінацій V_i та

VfV^V^V): , л ;

A d(V,Vp = _W(V^. _: \(5^

Зручність геометричної моделі зображення будь-якого коду полягає в тому, що кожна її вершина відповідає одній комбіна­ції коду, а відстань між комбінаціями V. та V. згідно з (5.2) дорів­нює кількості ребер, які треба пройти найкоротшим шляхом з вершини V_i до вершини Vj.

Недоліком геометричної моделі є те, що при довжині коду « > З зобразити її у звичайному тривимірному просторі немож­ливо. Тому вона застосовується лише для рівномірних блокових кодів з метою наочного зображення та полегшення аналізу їх­ніх властивостей.

Четвертий спосіб подання кодів у вигляді матриці з 2^п ряд­ками та « стовпцями можливий тільки для рівномірних «-еле­ментних двійкових блокових кодів. Якщо матрицею подається сукупність ненульових комбінацій коду, то кількість рядків дорівнюватиме 2^п - 1.

З урахуванням того, що матриця «-елементного коду склада­ється з 2^п - 1 комбінацій, записаних у вигляді рядків, особли­вість такого запису полягає в тому, що додавання за модулем 2 будь-якої кількості рядків цієї матриці приводить до появи дозволеної комбінації коду, в тому числі й нульової. Якщо останню відкинути, то дістанемо нову матрицю коду, але вже з меншою кількістю рядків. Повторивши аналогічну операцію додавання рядків матриці за модулем 2, можна знову дістати нульову комбінацію коду. Ця операція повторюється доти, поки не буде здобута матриця з лінійно незалежними рядками, до­давання яких за модулем 2 вже не приведе до утворення нульо­вої комбінації коду.

Наприклад, щоб побудувати матрицю триелементного двій­кового простого коду, треба, записавши у вигляді матриці всі 2^п - 1 комбінацій простого коду, крім нульової, послідов­но додати їх за модулем 2, виключаючи кожного разу ті ком­бінації, які в сумі з попередніми утворюють нульову комбі­націю:

1)001 2)001

10. 010

11. 000

100. 100

101. 101

по по

111 111

3)001 4)001 5)001 6)001 7)100 -...,.

010 010 010 010 010

100 100 100 100 001 '

000 ■ 000 000

ПО 111

111

87

Друга колонка тут формується так: якщо до третього рядка першої колонки додати суму її першого та другого рядків, то утвориться нульова комбінація, яку виключаємо при запису третьої колонки. Якщо до п'ятого рядка другої колонки після цього додати суму її першого та четвертого рядків, то дістане­мо нульову комбінацію в третій колонці. Цю комбінацію та­кож виключаємо, записуючи четверту колонку, і т. д. Таким чином, відкинувши всі нульові комбінації, матимемо шосту колонку з кодовими комбінаціями, що містять тільки по одній одиниці. Це й буде матриця даного коду (сьома колонка).

Квадратна матриця, діагональ якої складається з одиниць, а решта її елементів — нулі, називається одиничною. Якщо рядки такої «-елементної матриці додавати за модулем 2, то підбо­ром відповідної комбінації їх можна дістати всі комбінації «-елементного коду. Тому такі матриці ще називаються визна­чальними.

Якщо напрямок головної діагоналі матриці проходить справа наліво, то матриця називається транспонованою. Для розгля­нутого коду це буде матриця (шоста колонка)

[001]

■>■■ •■-■■-'; ■< 010

* [lOOj.

Загалом визначальна матриця «-елементного коду запису­ється так:

гіоо.	.. 0001]
010.	.000
001.	.000
000..	.100 1
000..	.010
000..	. 001]]

« стовпців

Розглянутий приклад утворення визначальної матриці й здо­бута одинична матриця можуть бути використані тільки для побудови всіх комбінацій двійкового простого коду з мінімаль­ною кодовою відстанню d_min = 1.

Матричний спосіб може бути застосований також для побу­дови коректувальних кодів з d_m[n > 1, здатних виявляти та вип­равляти помилки. Проте при цьому твірна (породжувальна) матриця складається з двох підматриць — уже відомої одинич­ної (інформаційної) та додаткової (перевірної).

За допомогою інформаційної одиничної підматриці Е_к утво­рюють інформаційну частину кодової комбінації коректуваль­ного коду, яка складається з к інформаційних елементів і визна­чає розмір підматриці (к х к), що відповідає розмірам визначаль­ної квадратної матриці двійкового простого коду, оскільки кіль­кість N комбінацій коректувального коду дорівнює кількості N комбінацій початкового двійкового простого коду, які тре­ба закодувати цим коректувальним кодом.

За допомогою додаткової перевірної підматриці С _к, прави­ло побудови якої описується в п. 8.1.1, де розглядаються коре­ктувальні коди, утворюють перевірну частину комбінації ко­ректувального коду, що складається з г перевірних елементів. Тому додаткова перевірна підматриця має розмір гхк.

Таким чином, загальний розмір твірної матриці коректуваль­них кодів дорівнює п х к, оскільки п = к + г.

5.5. НАДМІРНІСТЬ ПОВІДОМЛЕНЬ І КОДІВ

Від надмірності повідомлень і кодів, якими вони передаються, залежить максимальна кількість інформації, що може бути пе­редана по каналу за одиницю часу. Якщо повідомлення пере­даються алфавітом #, то максимальну кількість інформації на один елемент (символ, знак) повідомлення Н = logq можна діс­тати лише в разі його рівноймовірних і незалежних елементів. Реальні коди, які використовуються для кодування повідомлень, майже ніколи не задовольняють цю умову, тому що інфор­маційне навантаження кожного елемента їх, як правило, менше від того, яке вони могли б забезпечувати. Це свідчить про те, що повідомлення мають інформаційну надмірність.

Розрізняють два види надмірності: природну та штучну. Пер­шою описується надмірність первинних алфавітів, а другою — вторинних. Природна надмірність поділяється на семантичну та статистичну.

Семантична надмірність випливає з того, що будь-яку дум­ку, яка міститься в повідомленні, можна висловити коротше. Взагалі вважають, що коли повідомлення можна скоротити без втрат його змісту, а потім поновити останній, воно має семан­тичну надмірність.

Так, повідомлення: «До вечора наступного дня передати ін­формацію не зможемо у зв'язку з пошкодженням ліній, що з'єд­нують пункт збирання інформації з периферійними абонентськи­ми пунктами» без значної втрати цінності інформації можна було б сформулювати коротше: «Передача інформації затри­мується до вечора наступного дня у зв'язку з пошкодженням

89

абонентських ліній», тобто перше повідомлення має семантичну надмірність відносно другого.

Є багато способів усунення семантичної надмірності: замі­ною деяких типових повідомлень, які зустрічаються досить часто, умовними позначеннями; введенням таблиць, куди за­носяться характерні елементи повідомлення; застосуванням ско­рочень тощо. Нагадаємо, що всі ці перетворення стосуються первинного алфавіту.

Систематична надмірність спричинена нерівномірним розпо­ділом якісних ознак первинного алфавіту та взаємозалежністю їх. Це можна побачити на прикладі англійського алфавіту, що містить 26 літер. Максимальне значення ентропії англійського алфавіту Н_тах = \og₂q = log₂26 = 4,7 біт [42]. Проте у зв'язку з тим, що ймовірність появи літер англійського алфавіту не од­накова, ентропія англійської мови значно менша ніж 4,7 біт і без урахування взаємозалежності між словами становить приб­лизно 2,35 біт [42].

Якщо ж урахувати дійсну частоту появи літер у текстах, різ­них сполученнях і слів у різних повідомленнях, то інформацію, що передається, можна значно скоротити, стиснути. Коефіцієнт ущільнення інформації визначається виразом

К_ущ - #/#_тах,

а надмірність — виразом

(5.5)

^Кущ ~ ¹

Н/Н

*над " ¹

Із (5.5) випливає, що для зменшення надмірності повідом­лення необхідно збільшити ентропію первинного алфавіту. Для англійської мови

над

R

2 35 =l-=J = l-0,5 = 0,5,

тобто можна відновити зміст англійських текстів, складених з 50 % алфавіту.

До видів статистичної надмірності алфавітів належать такі поняття, як надмірність Л_{над зв}, зумовлена статистичним зв'яз­ком між елементами повідомлення, та надмірність R_Hajx , спри­чинена нерівноймовірним розподілом елементів у повідомленні.

Надмірність Л_{над зв} вказує на інформаційний резерв повідом­лень із взаємозалежними елементами відносно повідомлень, які мають статистичний зв'язок між елементами [42]:

НІН\

R =1

над.зв ¹

да ^ = -llP(a_i)p(b_J/a_i)\ogp(b_J/a_i); H' = -^_Pi\ogp,

' і і

90

Тут #' теж має надмірність через нерівномірний розподіл імовірностей окремих елементів алфавіту.

Надмірність #_н вказує на інформаційний резерв повідом­лень, елементи яких нерівноймовірні [42]:

^Лнад.р^{= 1}~^Н/Нтах>

Повна статистична надмірність алфавіту визначається ви­разом

R = R +/? — R R

над над.зв над.р над.зв над.р*

При незначних Д_надзв і Я_надр цей вираз набуває вигляду R = R + R

над над.зв над.р'

тому що зі зменшенням Л_{над зв} і Я_надр добуток їх прямує до нуля.

Для усунення статистичної надмірності алфавітів викорис­товують оптимальні нерівномірні коди (див. п.5.7); при цьому статистична надмірність первинного алфавіту значно зменшу­ється завдяки більш раціональній побудові повідомлень у вто­ринному алфавіті.

Іноді статистична надмірність випливає з природи самого коду. Так, при передачі десяткових чисел двійковим кодом трьо­ма двійковими розрядами можна передати і цифру 5, і цифру 8, тобто для передачі п'яти та восьми повідомлень треба мати коди однакової довжини.

Довжина комбінації двійкового коду визначається виразом

„>^, або „>І2&ЗЦ \og₂q log₂?₂

де N— кількість повідомлень, яку необхідно передати; q_l9q₂ — відповідно якісні ознаки первинного та вторинного алфавітів. Так, для передачі N = 5 повідомлень двійковим кодом (q = 2) потрібно

п > -—Ц- = 2,32 « 3 двійкових символів. log₂ 2

З&г&лом надмірність від округлення визначається виразом _R ^к~^кны

^Іхнад.окр ъг >

де К— округлене до найближчого цілого значення К_над = ₌ log2 9\ log₂q₂'

91

У даному разі

R = _—±гї±~0 227

^унад.окр о v,z,z,/,

що характеризує недовантаженість коду.

Вираз

_n>HjoiN_ log? log? можна застосувати для визначення довжини кодів з рівноймо-вірними та взаємонезалежними елементами. Для двійкового коду (q = 2) цей вираз дійсний тільки тоді, коли ймовірність появи 0 та 1 однакові. Проте в рівномірних кодах, як правило, нулі зустрічаються частіше, ніж одиниці [42]. Тому надмірність, закладену в природу коду, повністю усунути не можна. Однак надмірність від нерівноймовірності появи елемента та надмір­ність від округлення зменшуються зі збільшенням довжини ко­дового блока.

На відміну від природної надмірності, яка характерна для первинних алфавітів і присутня в повідомленні ще до того, як воно перетворюється на код, штучна надмірність вводиться в нього у вигляді г додаткових елементів спеціально для підви­щення його завадостійкості. Таким чином, з п розрядів коду, з яких к несуть інформаційне навантаження, г = п - к розрядів вводяться як коректувальні. Ця величина характеризує абсо­лютну коректувальну надмірність, а величина

R - ^п ~ ^К -1 ^k_- ^r

^надг п ~п~~п~

п-к і к п п

відносну коректувальну надмірність коду (див. п. 5.1).