МІНІСТЕРСТВО ОСВІТИ ТА НАУКИ УКРАЇНИ

ДОНЕЦЬКИЙ НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ

Методичні вказівки

до виконання лабораторних робіт з дисципліни

«Теорія інформації й кодування»

(для студентів напрямку підготовки 6.050201 «Системна інженерія» (СУА) денної та заочної форм навчання)

Розглянута на засіданні кафедри АТ

Протокол №_9_ від _30.08.2010 р. __

Затверджена на засіданні

Учбово-видавничої ради ДонНТУ

Протокол №__ від __________

-2010-

УДК 681.325

Методичні вказівки до виконання лабораторних робіт з курсу "Теорія інформації й кодування" для студентів напрямку підготовки 6.050201 «Системна інженерія» (СУА) денної та заочної форм навчання / Розр.: доц. Дегтяренко І.В., проф. Воронцов О.Г., ст. викл. Ярошенко О.О., доц. Фонотов А.М. - Донецьк: ДонНТУ, 2010.- 26 с.

Укладачі: доц. Дегтяренко І. В.

проф. Воронцов О.Г.

ст. викл. Ярошенко О.О.

доц. Фонотов А.М.

Рецензент:

Лабораторна робота №1 визначення інформаційних характеристик дискретних повідомлень і каналів зв'язку

Мета роботи: навчиться проводити оцінку інформаційних характеристик дискретних повідомлень і каналів зв'язку.

Задачі роботи:

1. Вивчити структуру інформаційного каналу зв'язку й призначення його блоків.

2. Вивчити властивості й методи оцінки ентропії дискретних повідомлень.

3. Вивчити способи оцінки інформаційних параметрів каналів зв'язку.

4. Вивчити умови узгодження інформаційних характеристик джерел повідомлень і каналів зв'язку.

Загальні положення

Інформація поряд з матерією і енергією є первинним поняттям нашого світу й тому в точному значенні не може бути визначена. Можна лише перелічити її основні властивості, наприклад такі як:

1) інформація приносить відомості, про навколишній світ яких у розглянутій точці не було до її одержання;

2) інформація не матеріальна, але вона проявляється у формі матеріальних носіїв дискретних знаків або первинних сигналів;

3) знаки й первинні сигнали несуть інформацію тільки для одержувача здатного їх розпізнати.

У вузькому практичному змісті під інформацією звичайно розуміють сукупність відомостей про навколишній світ, що є об'єктом зберігання, передачі та перетворення. Знаки або первинні сигнали, організовані в послідовності несуть інформацію не через то, що вони повторюють об'єкти реального часу, а через суспільну домовленість про однозначний зв'язок знаків і об'єктів, наприклад: предмети і слова для їхнього позначення. Крім того, первинні сигнали можуть бути породжені природними об’єктами реального світу, наприклад: напруга на виході термопари під дією температури. У курсі теорії інформації й кодування вивчаються проблеми синтаксичного рівня дотичні створенню теоретичних основ побудови систем зв'язку основні показники функціонування, яких були б близькі до гранично можливих.

Інформація передається, і зберігатися у вигляді повідомлень. Під повідомленням розуміють сукупність знаків або первинних сигналів, які містять інформацію. Інакше кажучи, повідомлення - це інформація представлена в якій-небудь формі. Приклад повідомлень: текст телеграми, дані на виході ЕОМ, мова, музика й т.д. Для того щоб повідомлення можна було передати одержувачеві, необхідно скористатися деяким фізичним процесом, здатним з тією або іншою швидкістю розповсюджуватися від джерела до одержувача повідомлення. Фізичний процес, що відображає повідомлення називається сигналом. Повідомлення можуть бути функціями часу (коли інформація представлена у вигляді первинних сигналів: мова, музика) і не бути ними (коли інформація представлена у вигляді сукупності знаків). Сигнал це завжди функція часу.

У загальнена структура інформаційного каналу представлена на рис. 1.1. Далі наведено опис його основних блоків.

Джерело повідомлень, створює повідомлення або послідовність повідомлень, які повинні бути передані.

Передавач, деяким чином переробляє повідомлення в сигнали відповідні по характеристиках використовуваному каналу.

Канал - це комплекс технічних засобів, що забезпечує передачу сигналів від передавача до приймача. До складу каналу входить каналоутворююча апаратура, що здійснює сполучення вихідного й вхідного сигналів відповідно передавача й приймача з лінією зв'язку, і самої лінії зв'язку. Лінією зв'язку називається середовище, яке використовується для передачі сигналу від передавача до приймача. Це може бути, наприклад: пара приводів, коаксіальний кабель, ефір (область поширення радіохвиль) і т.д. Канал називається дискретним, якщо на його вході і виході присутні дискретні сигнали. Якщо сигнали на вході й виході каналу безперервні за часом, то він називається безперервним. У загальному випадку при передачі в каналі сигнал спотворюється шумом.

Приймач звичайно виконує операцію зворотну стосовно передавача, тобто проводиться відновлення повідомлення по одержаних сигналах. Складність побудови приймача обумовлена зміною форми прийнятих сигналів, що пов'язане з наявністю шуму в каналі зв’язку.

Одержувач це особа або апарат, для якого призначене повідомлення.

Процес перетворення повідомлення в сигнал, що виробляється в передавачі й зворотний йому процес, що реалізується в приймачі, називають відповідно кодуванням і декодуванням.

У рамках даної лабораторної роботи розглядається спрощена модель дискретного каналу зв'язку (див. рис. 1.2).

М ається на увазі, що джерело генерує символи алфавіту U з відповідними ймовірностями P(u_i) і об'ємом N=3, а на вхід приймача надходять символи алфавіту Z c імовірностями P(z_i).

Джерело повідомлень (як і приймач) може бути охарактеризований середньою кількістю інформації, що доводиться на одне елементарне повідомлення, що носить назву “ентропія” і обумовленим у такий спосіб:

, (1.1)

Дана міра була запропонована Клодом Шенноном. Підстава логарифма звичайно приймається рівним двійці, тоді розмірність ентропії -[біти/символ]. Ентропія Шеннона має наступні властивості:

1. Ентропія є величина речовинна, обмежена й ненегативна. Ці її властивості випливають із виду вираження для Н(U), а також з обліком того, що 0 < P(u_i) < 1.

2. Ентропія детермінованих повідомлень дорівнює нулю, тобто Н(u) = 0, якщо хоча б одне з повідомлень має ймовірність, рівну одиниці.

3. Ентропія максимальна, якщо повідомлення u_i равновероятны, тобто

P(u₁) = P(u₂) = ....... P(u) = 1/N , де N – об'єм алфавіту,

(1.2)

Величина, що розраховує по формулі (1.2), зветься ентропії по Хартли.

Канал зв'язку описується матрицями переходів P(U/Z) або P(Z/U) (канальними матрицями). Для парних варіантів задані ймовірності появи символів на вході приймача P(z_i), а для непарні ймовірності появи символів на виході джерела P(u_i). По каналі зв'язку передається М символів. Задані тривалості передачі кожного символу T_i.. Чисельні дані для розрахунків наведені в табл. 1.1.