- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
Тема 17. Коди Галуа.
План
1. Методика формування кодів Галуа, їх переваги.
2. Надлишковість та здатність виявляти та виправляти помилки
1. Методика формування кодів Галуа, їх переваги
Скінченне поле або поле Галуа (на честь Евариста Галуа) — поле, яке складається зіскінченної множини елементів.
Найменше
поле Галуа
містить
лише два елементи,
та
арифметичні
операції над якими поводяться майже як
звичайно, за винятком правила
Це
поле широко застосується в дискретній
математиці,
комп'ютерних науках і теорії
кодування.
Ідея
застосування поля
полягає
в тому, що доцільно розглядати послідовності
з нулів й одиниць як елементи
деякої алгебраїчної
структури: векторного
простору над
цим полем, розширення
кільця
многочленів
тощо.
Алгебраїчні операції в цій структурі приводять до низки важливих конструкцій в означених галузях, наприклад,скінчених проективних площин, кодів Ріда-Мюлера і кодів Гоппа. Засновані на теорії скінчених полів алгоритмиперевірки на простоту і факторизації цілих чисел відіграють важливу роль у сучасній прикладній теорії чисел.
Для
будь-якого простого
числа
кільце
залишків
—
це скінчене поле з
елементів,
яке позначається
Елементи
цього поля можуть бути представлені цілими
числами
які
додаються і множаться «за
модулем
»
Будь-яке скінчене поле містить
елементів
і однозначно задається
своєю характеристикою
і степенем
Значні успіхи у розвитку теоретичних засад кодування дискретних джерел інформації досягнуто на основі інформаційних технологій у теоретико-числовому базисі (ТЧБ) Галуа. Особливістю ТЧБ Галуа є найвища компактність представлення даних, рекурентність, захищеність від помилок, нелінійність перетворень та інше. Даний базис породжує систему числення Галуа та коди поля Галуа (КПГ). КПГ широко використовується в сучасних інформаційних системах для кодування, передавання, захисту від помилок, стиснення та цифрового арифметико-логічного опрацювання даних.
Фундаментальною основою інформаційної технології перетворення та кодування даних у базисі Галуа є теорія чисел, а також теорія алгебраїчних та абелевих груп.
2. Надлишковість та здатність виявляти та виправляти помилки
Рекурентні властивості функцій теоретико-числового базису Галуа забезпечують можливість виявлення та виправлення помилок в інформаційних потоках маніпульованих кодами Галуа. Практична реалізація методів виявлення та виправлення помилок кодами Галуа потребує глибоких теоретичних та експериментальних досліджень.
Кодова послідовність Галуа базується на основі базису Галуа, згідно рекурентної процедури Gi+i=GiGi-(n-1).
V=N; n= V/2,
Представлення рекурентного коду Галуа: N – число комбінацій; V- об’єм кодової системи; n – число елементів системи.
Коди поля Галуа за загальною класифікацією відносяться до підкласу циклічних блокових кодів, які володіють всіма основними властивостями завадозахищених кодів. Дані коди є одними з найбільш досконалою упаковкою інформації.
Для виявлення помилок при передаванні сигналу використовують стандартні методи на основі рекурентних надлишкових коректуючих кодів.
В загальному випадку надлишковість даних, які передаються згідно стандартного протоколу, можна оцінити у вигляді коефіцієнта надлишковості як відношення об’єму даних, що передаються, до об’єму вхідних даних, які підлягають передачі, згідно формули:
Кн = Vk / Vx,
де Vх – об’єм вхідних даних; Vс – об’єм службових даних; Vk = Vс+ Vх , Vс= VФ+ VA+ VY+ Vkk+ VБ ; VФ, VA, VY, Vkk, VБ – відповідні об’єми кодів флага, адреса станцій, типу фрейму та коректуючого коду Боуза – Чоудхурі – Хоквінгхема, символів біт-стаффінга; Vk – об’єм даних, що передаються в інформаційних каналах.
З метою оцінки надлишковості існуючих протоколів типу HDLC, HP-IL, KT-1 проаналізовані структури фреймів, які формалізовані на основі аналітичних виразів:
Кн (HDLC) = (VФ+ VA+ VY+ Vkk+ VБ +Vx) / KФС Vx,
Кн (HDLC) = (VФ+ VA+ VY+ Vkk+ 2b +2k 8) / 2k 8,
де KФС – коефіцієнт форми сигналу; КФС (HDLC) = 0.5.
Кн (HP-IL) = (3 +2k 8 +V kk) / KФС 2k 8,
КФС(HP-IL) = 0.3; V kk = 16.
Кн (КТ-1) = (4 +2k 8 +V kk) / KФС 2k 8,
КФС (КТ-1) = 1.0 ; V kk = 16.
Аналіз показує, що надлишковість існуючих протоколів різко зростає при малих об’ємах даних, які передаються, що характерно для низових рівнів РКС. Тому їх застосування на різних рівнях сучасних комп’ютерних систем є недостатньо ефективне і потребує вдосконалення як в теоретичному, так і в практичному планах.
Розробка методів безнадлишкового сигнального кодування на основі кодів Галуа базується на принципі створення таких кодів з можливістю виявлення та виправлення помилок, які не спричиняють збільшення об’єму пакетів при передаванні біт-орієнтованих потоків даних.
Суть методів безнадлишкового сигнального кодування з можливістю виявлення та виправлення помилок полягає в тому, що при формуванні такого класу кодів використовують до п’яти сигнальних ознак наступного типу:
фронт наростання __¯¯ ( ); фронт спаду ¯¯__ ( ); додатній потенціал |▬▬| (+); від’ємний потенціал |▬▬| (–); нульовий потенціал |▬| (S), при чому послідовність бітів даних додатково модулюється кодом поля Галуа.
Всі ці ознаки різними способами використовуються в стандартних потенціальних методах маніпуляції.
Розроблено чотири способи і, відповідно, методи формування такого класу кодів: позиційно-сигнальний код (ПСК); несиметричний рекурентний сигнальний код (НРСК); рекурентний симетричний сигнальний код (РССК); квазісимвольний сигнальний код (КССК).
Метод формування позиційно-сигнального коду полягає в наступному: введемо систему представлення сигнальних та кодових ПСК
G01 «+» ; G00 «–» ; G11 «» ; G10 «».
Формування ПСК коду показано в табл.1.
Представлення символіки розрядно-позиційного сигнального коду Галуа, для півбайтових потоків даних, що відповідає потоку чисел або цифр має наступний вигляд:
1 1 1 1 0 0 0 0
G1 G1 G0 G0 G1 G1 G0 G0
+1 +1 -1 -1
+ + – – .
Для 4-х бітового повідомлення, яке передається, існує m=24 комбінацій ПСК, які в сигнальному та кодовому виді наведені в табл.1.
Таблиця 1 Коректуючі властивості ПСК.
Таким чином, при формуванні інформаційних повідомлень на основі ПСК незалежно від обсягу масиву даних та різних модулюючих кодів Галуа ймовірність виявлення помилок є постійна і число невиявлених помилок є сталим. Позитивною характеристикою ПСК є можливість виявлення та в окремих випадках виправлення помилок типу «стирання» та «вставок» бітів, які можуть виникати під впливом мультиплікативних завад. Функціональним обмеженням є відсутність можливості визначення числа нулів та одиниць у блоці даних.
Метод формування НРСК полягає в тому, що послідовність нулів, які передаються в пакеті даних, нумеруються рекурентним кодом Галуа G2k. Причому біт Галуа “1” передається фронтом спаду, тобто маніпуляційним сигналом “10”, а нулі бітів Галуа передаються сигналом “00”. Для передавання інформаційних одиниць використовується фронт наростання .
В результаті такого методу формування сигналів виникає можливість виявлення помилок при передаванні даних.
Таблиця 2 Реалізація методу НРСК даних з використанням кодової
послідовності Галуа G23 (11101000).
У табл.2 введені наступні позначення: Д - дані, які передаються; SК – сигнальний код каналу зв'язку (Манчестерський код); SК1–сигнальний код передавання "1" в каналах зв'язку; G(0) – код Галуа, який нумерує нулі; SК01 – сигнальний код нулів, коли біт-Галуа "1" передає кодом "11", а біт-Галуа "0" передає кодом "00"; SК02 – сигнальний код нулів, коли біт-Галуа "1" передає "10", а "0" —> "00"; GK01 – сигнальні коди маніпуляції, в яких нулі нумеруються кодом Галуа; GK02 – сигнальні коди маніпуляції, в яких нулі нумеруються кодом Галуа по фронту спаду.
Функціональним обмеженням такого коду є відсутність можливості визначення загального числа нулів у блоці даних, оскільки модуляційний код Галуа повторюється багато разів.
Другою модифікацією НРСК є використання коду Галуа для одночасного симетричного сигнального формування нулів і одиниць потоку даних (РССК), причому об’єм коду Галуа відповідає об’єму даних, що передаються.
