- •1.1.1. Поняття множини
- •1.1.2. Елементи множини
- •1.1.3. Рівність множин
- •1.1.4. Задання та запис множин
- •1.1.5. Підмножини. Універсальна множина.
- •1.1.6. Операції над множинами та їхні властивості
- •Доведемо обернене включення:.
- •1.1.7. Потужність множин
- •Література
- •1.2.2. Декартовий (прямий) добуток множин
- •1.2.3. Бінарні відношення
- •1.2.4. Переріз відношення. Фактор-множина
- •1.2.5. Способи задання відношень
- •Література
- •Тема 1.3. Властивості відношень
- •1.3.1. Теоретико-множинні операції над відношеннями
- •1.3.2. Композиція відношень
- •1.3.3. Обернені відношення
- •1.3.4. Рефлексивні, симетричні і транзитивні відношення
- •1.3.5. Відношення еквівалентності
- •1.3.6. Відношення порядку
- •1.3.7. Відображення і функції
- •Література
- •Розділ 2. Теорія графів
- •Тема 2.1. Основні елементи теорії графів
- •2.1.1. Поняття графа
- •2.1.2. Ізоморфізм графів. Підграф. Суграф. Частковий граф
- •2.1.3. Числові характеристики графа
- •2.1.4. Маршрути незамкнені (ланцюги, шляхи) і замкнені (цикли, контури). Повнота. Зв’язність. Сильна зв’язність
- •2.1.5. Способи задання графа
- •Література
- •Тема 2.2. Операції над графами
- •2.2.1. Поняття графа
- •Тема 2.3. Дерева і цикли у графах
- •2.3.1. Компоненти зв’язності
- •Розглянемо незв’язний неорієнтований граф .
- •Отже, наведений на прикладі граф має три компоненти зв’язності.
- •2.3.2. Ранг та цикломатичне число графа
- •Якщо граф – вироджений, тобто має лише вершини, а ребра – відсутні, то і. За теоремою 2.3.2 додавання нового ребра збільшує або, або. Отже, числатаможуть лише зростати.
- •2.3.3. Дерева і ліси
- •Література
- •Тема 2.4. Розфарбування графа
- •2.4.1. Задача про чотири фарби. Правильне розфарбування графа
- •2.5.2. Визначення хроматичного числа. Хроматичний поліном
- •Література
- •Розділ 3. Загальна алгебра
- •Тема 3.1. Групи
- •3.1.1. Поняття алгебраїчної операції
- •3.1.2. Означення і приклади груп
- •Література
- •Тема 3.3. Поля
- •3.3.1. Означення поля. Приклади полів
- •3.3.2. Властивості полів
- •Література
- •Розділ 4.
- •Тема 4.1 булева алгебра
- •4.1.1 Визначення булевої функції
- •4.1.2. Формули логіки булевих функцій
- •4.1.3. Рівносильні перетворення формул
- •Основні правил булевих формул.
- •Правило рівносильних перетворень
- •4.1.4. Двоїстість. Принцип двоїстості.
- •4.1.5. Булева алгебра (алгебра логіки). Повні системи булевих функцій
- •Література
- •Тема 4.2. Нормальні форми
- •4.2.2 Розкладання булевої функції по змінним
- •Література
- •Тема 4.3. Мінімізація формул булевих функцій у класі диз'юнктивних нормальних форм
- •4.3.1. Застосування алгебри булевих функцій до релейно-контактних схем
- •Контрольні питання до теми 4
- •Література
- •Розділ 5.Комбінаторний аналіз
- •Тема 5.1. Основні поняття комбінаторного аналізу
- •5.1.1. Основні правила комбінаторики
- •Розв’язання
- •5.1.2. Розміщення. Розміщення з повтореннями
- •Розв’язання
- •Розв’язання
- •5.1.3. Перестановки. Перестановки з повтореннями
- •Розв’язання
- •Розв’язання
- •5.1.4. Комбінації. Комбінації з повтореннями
- •Розв’язання
- •Розв’язання
- •Розв’язання
- •5.1.6. Біном Ньютона. Трикутник Паскаля. Властивості біноміальних коефіцієнтів
- •Література
- •Розділ 6.Теорія інформації та кодування
- •Тема 6.1. Теоретичні положення
- •1.2. Приклади розв’язання задач
- •6.3. Задачі
- •Література
- •7. Ефективне кодування
- •7.1. Теоретичні положення
- •7.2. Приклади розв’язання задач
- •Задача 7.2.2
- •Задача 7.2.5
- •1010000011001010011001001011110.
- •0001011011011101100110101100001011011.
- •7.3. Задачі
- •Література
Задача 7.2.5
Розробити ефективний код для кодування послідовності символів на виході немарковського дискретного джерела інформації з алфавітом {A,B,C} та ймовірностями появи символів p(A) = 0,15; p(B) = 0,1; p(C) = 0,75. Відносна різниця між середньою довжиною кодової комбінації та ентропією джерела не повинна перевищувати 2%. Закодувати таким кодом послідовнісь довжиною у 30 символів
САССССССССССВССАССССВССВСААССС,
яку згенерувало джерело.
Розв’язання. Зменшення середньої довжини кодової комбінації на один символ джерела можна досягти, якщо будувати ефективний код для укрупненого алфавіту. Хоча ефективний нерівномірний код розробляється на основі статистичних характеристик джерела, знання цих характеристик не дає можливості розрахувати середню довжину кодової комбінації без побудови коду.
Тому шлях розв’язання задачі повинен бути таким. Послідовно укрупнюємо алфавіт; для кожного укрупнення будуємо нерівномірний ефективний код, розраховуємо середню довжину кодової комбінації на один символ джерела та перевіряємо, чи задовольняються вимоги до неї. Процес укрупнення припиняємо, як тільки ці вимоги задовольняються.
Будуємо ефективний код для кодування окремих символів джерела. На рис. 7.5 зображено кодове дерево, що відповідає коду Хаффмена для такого джерела. Аналізуючи шляхи від кореневого вузла до кінцевих вузлів, знаходимо, що для символу A довжина кодової комбінації дорівнює 2, для символу B – 2, для символу С – 1. Середня довжина lcep (1) = 1 кодової комбінації для кодування по одному символу джерела
lcep (1) = 2 p(A) + 2 p(B) + 1 p(C) = 2(0,15+0,1)+10,75 = 1,25.
Ентропія джерела
H = – p(A)log2 p(A) – p(B)log2 p(B) – p(C)log2 p(C) = 1,054 біт.
Рис. 7.5. Кодове дерево для символів джерела задачі 7.2.5
Відносна різниця між середньою довжиною кодової комбінації та ентропією джерела становить
[(1,25 – 1,054) / 1,054] 100% = 18,6%,
що не задовольняє умовам задачі.
Укрупнюємо алфавіт, об’єднуючи по два символи джерела, знаходимо ймовірності появи укрупнених символів-слів та будуємо ефективний код для такого алфавіту. Оскільки джерело не має пам’яті, ймовірності появи слів отримаємо як добуток безумовних ймовірностей появи відповідних символів джерела, наприклад p(AB) = = p(A)p(B). Кодове дерево для цього варіанту зображено на рис.2.6. Результати побудови коду Хаффмена у відповідності з цим деревом наведені у табл.7.8.
Середня довжина кодової комбінації в розрахунку на один символ вихідного джерела має значення
lcep ( 2 ) = [10,5625+3(20,1125+0,075)+40,075+6(0,0225+
+20,015+0,01)]/2 = 1,069.
Рис. 7.6. Кодове дерево для укрупненого по два символи алфавіту джерела задачі 7.2.5
Таблиця 7.8
-
Слово джерела (СД )
Ймовірність появи СД
Кодова комбінація (КК)
Довжина КК
Відносна різниця між lcep ( 2 ) та ентропією джерела
[(1,069 – 1,054) / 1,054] 100% = 1,4%,
що менше, ніж 2%, тобто такий код задовольняє вимогам.
Щоб закодувати послідовність, яку виробило джерело, поділяємо її на слова довжиною по 2 символи та застосовуємо для цих слів код табл.7.8. В результаті маємо