Дырда, Иващенко Учебн пособие рус

2

ББК 32.811я7 УДК 621.391(075)

В учебном пособии для бакалавров в восьми лекциях рассмотрено: основные информационные характеристики источников дискретных и непрерывных сообщений; эффективное кодирование источников дискретных сообщений; кодирование аналоговых сигналов методами ІКМ, ДІКМ и ДМ; информационные характеристики каналов связи; теоремы Шеннона для источников сообщений и каналов связи.

Особенностью пособия является наличие значительного количества примеров и упражнений, справочного материала, словаря терминов и определений, индивидуальных и тестовых заданий. Расчетные формулы сведены в таблицы. Такое построение пособия является наиболее целесообразным для использования студентами при освоении материала модуля 2.

ОДОБРЕНО на заседании кафедры

теории электрической связи им. А.Г. Зюко и рекомендовано в печать.

Протокол № 9 от 25.03.2010 г.

УТВЕРЖДЕНО методическим советом академии связи.

Протокол № 6 от 30.03.2010 г.

4

ВВЕДЕНИЕ

Теория связи (ТС) является одной из фундаментальных теоретических дисциплин базовой подготовки специалистов-связистов по направлению 6.050903 – Телекоммуникации. Она базируется на новейшей науке “Статистическая теория связи”, возникшей в 30...40 гг.

XXст. и стремительно развивающейся во второй его половине.

ВТС рассматриваются основные процессы передачи сигналов каналами связи при наличии помех. Для этого в ней принятый единый методологический подход к решению задач электросвязи на основе вероятностных моделей. Детально изучаются методы математического описания сигналов и помех, методы обеспечения необходимых характеристик систем связи, таких как достоверность и скорость передачи информации.

Теоретической базой дисциплины ТС в ВУЗе являются такие дисциплины, как “Высшая математика” и “Теория электрических цепей и сигналов”. Принципы и методы дисциплины ТС являются основой техники телекоммуникаций и развиваются во всех инженерных дисциплинах подготовки бакалавров направления 6.050903 – Телекоммуникации.

Общая характеристика дисциплины: количество кредитов ECTS – 9; модулей – 4; общее количество часов – 324; в том числе: лекции – 104 ч.; практические занятия – 16 ч.; лабораторные занятия – 40 ч.; самостоятельная и индивидуальная работа – 164 ч.; вид контроля

– экзамены по1-му и 3-му модулю, зачет по 2-му и 4-му модулю, курсовая работа в 4-м модуле.

Согласно учебному плану ОНАЗ им. А.С. Попова по направлению 6.050903 – Телекоммуникации изучение дисциплины ТС распределено на зачетные модули:

Модуль 1. Математическое описание сигналов.

Модуль 2. Передача информации в телекоммуникационных системах. Модуль 3. Теории помехоустойчивости систем передачи.

Модуль 4. Основы теории корректирующих кодов.

Это учебное пособие подготовлено для изучения и усвоение студентами учебного материала модуля 2, в котором изложены основные положения науки “Теория информации” – одной из составных частей теории связи.

Начата наука “Теория информации” в 1948 г., когда Клод Шеннон (США) опубликовал статью “Математическая теория связи”, в которой заложенные основы теории информации и ее применения к задачам связи, введенные понятия – энтропия источника сообщений и пропускная способность канала связи.

Теория информации – это, в принципе, теоретическая наука об основных закономерностях передачи информации каналами связи. Но она сделала толчок для стремительного развития техники телекоммуникаций в XX ст. особенно, в его конце.

Во-первых, теория информации дала математический аппарат вычисления избыточности сообщений и методы ее сокращения. Эти методы применяются ныне для уменьшения скорости цифровых сигналов при передаче видеосообщений и аудиосообщений и объема данных для запоминания этих сообщений, например, в стандартах JPEG и MPEG, в архиваторах компьютеров.

Во-вторых, в теории информации строго математически доказан тот факт, что канал связи с помехами и ограниченной полосой пропускания имеет ограниченную скорость передачи информации (так называемую пропускную способность), но точность передачи сигналов при этом может быть как угодно высокой (ошибки, которые возникают в канале связи из-за действия помех, могут быть исправлены).

В-третьих, детальное развитие идеи исправления ошибок (так называемое помехоустойчивое кодирование) привело к появлению довольно мощных помехоустойчивых кодов, которые исправляют почти все ошибки. Только применение помехоустойчивых кодов позволило реализовать и глобальную спутниковая связь, и мобильные телефоны, и радиосвязь с внеземными космическими аппаратами и т.п.

5

На изучение модуля 2 планируется: количество кредитов ECTS – 2; общее количество часов – 72; в том числе: лекции – 16 ч.; лабораторные занятия – 8 ч.; самостоятельная и индивидуальная работа – 48 ч.; вид контроля – зачет.

Модуль 2 состоит из следующих содержательных модулей:

информационные характеристики источников сообщений;

эффективное кодирование сообщений;

информационные характеристики каналов электросвязи.

Это учебное пособие не заменяет рекомендованную учебную литературу, а дополняет ее. Необходимые теоретические выкладки к изучению модуля приведены в учебниках. В пособии же приведено целенаправленное толкование основных положений “Теории информации” относительно передачи информации каналами электросвязи. Для улучшения ее изучения студентами в пособии приводятся примеры, упражнения, задачи, индивидуальные задачи, справочный материал, словарь каждой лекции – т.е. основные понятия и термины.

Для облегчения восприятия учебного материала модуля важнейшие теоретические результаты, который следует понять и запомнить, выделены в специальной рамке за текстом и

обозначенные знаком “!”. Кроме того, при подборе материала пособия и его представлении авторы старались придерживаться правила – без сложных математических доказательств (а их в теории информации многовато) наглядно показать, что можно, а чего невозможно достичь во время передачи информации каналами электросвязи.

Пособие подготовили профессора Иващенко П.В. и Дирда В.Е. Значительный вклад во время работы над пособием внесли все преподаватели кафедры теории электрической связи им. А.Г. Зюко.

6

1 ВХОДНЫЕ ЗНАНИЯ И УМЕНИЯ К ИЗУЧЕНИЮ МОДУЛЯ

Приведенный в табл. 1.1 перечень входных знаний и умений студент должен получить во время изучения предыдущих дисциплин, чтобы усвоить содержание модуля 2. Шифры знаний и умений указаны согласно действующей учебной программе дисциплины ТС.

Таблица 1.1 – Перечень входных знаний и умений к модулю 2

Приведенные в табл. 1.1 входные знания и умения должны обеспечить модули дисциплин, которые определены в табл. 1.2.

Таблица 1.2 – Модули предыдущих дисциплин, которые обеспечивают изучение мо-

дуля 2

7

2 КОНСПЕКТ ЛЕКЦИЙ

Объяснение к конспекту лекций

За более чем 45 лет преподавания во всех электротехнических институтах и техникумах связи СССР и Украины учебной дисциплины “Теория электрической связи” (сначала она называлась “Теория передачи сигналов”) выдано больше десяти учебников и учебных пособий.

В учебниках (см. перечень рекомендованной литературы) основные положения такой составляющей части теории связи как “Теория информации” детально изложены. Но в этих учебниках и пособиях основное внимание отводится теоретическим положением “Теории информации” и доказательства основных теорем.

Поэтому приведенный конспект лекции не дублирует учебную литературу, а дополняет ее примерами, упражнениями и задачами, справочными данными, которые необходимые для освещения того, как основные теоретические положения “Теории информации” находят применение в телекоммуникации.

Материал каждой лекции рекомендуется изучать по учебной литературе и этому конспекту в последовательности, которая представлена в тематике лекции, исполь-

!зуя таблицы расчетных формул и словарь основных терминов и определений относительно лекции

Лекция 1. Информационные характеристики источников дискретных сообщений

Тематика лекции

1 Математические модели источников дискретных сообщений и их основные пара-

метры.

2Количественная мера информации.

3Информационные характеристики источников дискретных сообщений: энтропия источника и ее свойства; избыточность и производительность источника.

Таблица Л1.1 – Расчетные формулы информационных характеристик источников дискретных сообщений

Номер Наименование характеристики Расчетная формула формулы

8

Окончание табл. Л1.1

Пояснения: P(аk) – априорная (безусловная) вероятность сообщения (знака) аk;

P(аk/aj) – апостериорная (условная) вероятность сообщения (знака) аk, если сообщение (знак) aj известное;

аk,…,ak–n+1 – известны (n–1) предыдущие сообщения (знаки), индекс указывает номер сообщения в последовательности с выхода источника;

Т– средняя длительность сообщения (знака) – вычисляется как математическое ожидание длительности сообщений Tk: T Tk P ak ;

k

МА – объем алфавита источника

Определение. Дискретное сообщение – это последовательность отдельных знаков, количество которых является конечным. Знаки образуют алфавит источника. Коли-

!чество знаков в алфавите называется объемом алфавита MА. Знаками могут быть отдельные буквы, цифры, символы или их соединение, например, слова или даже предложения.

Классификация источников. Источники дискретных сообщений делятся на:

–источники независимых сообщений (источники без памяти), когда появление любого знака аk никак не обусловлено знаками, которые появились до него;

–источники зависимых сообщений (источники с памятью), когда появление знака аk связано с предыдущими знаками.

Условно источники дискретных сообщений можно разделить на две группы: текстовые и цифровые.

Текстовые сообщения состоят из последовательности букв, цифр и символов алфавита, который определяет определенный язык, например, русский. Объем алфавита, особенно алфавитов восточных языков, может быть значительным – сотни и тысячи.

Цифровыми считаются сообщения обмена информацией между компьютерами и сообщения, полученные после преобразования аналоговых сигналов в цифровые (в связи, вещании, при записи на электронные носители). Как правило, цифровые сообщения двоичные,

т.е. MА = 2.

Математическая модель источника.

Источник независимых сообщений задается перечнем знаков аk и их априорных (безусловных) вероятностей P(аk), k = 1, 2, ..., MА, при этом вероятности удовлетворяют условию

P(ak ) 1.

k

Источник зависимых сообщений задается апостериорными (условными) вероятностями; так, если зависимость между знаками простирается в пределах двух знаков аk и аj, то источник задается вероятностями P(аk/aj), k, j = 1, 2, ..., MА; если зависимость между знаками простирается в пределах трех знаков аk, аj, и аl, то источник задается вероятностями

P(аk/aj,аl), k, j, l = 1, 2, ..., MА и так далее.

Источник задается также значениями длительностей выдачи каждого знака Тk, k = 1, 2, ..., MА. Когда длительности выдачи всех знаков одинаковые, источник называют синхронным, в противном случае – асинхронным.

Количественная мера информации детально описана в [1, с. 284...286], [3,

с. 276...277]. Особенностью количественной меры информации есть то, что по предложению

9

Р. Хартли (1928 г.) для вычисления количества информации в сообщениях принята логарифмическая мера: расчетные формулы (1.1), (1.2) и (1.3) в табл. Л1.1.

Логарифмическая мера количества информации в сообщении применена по той причине, что она удовлетворяет обычным представлениям об информации:

!количество информации – величина аддитивная; в сообщении, вероятность которого равна единице, количество информации равняется нулю

Единицы измерения информации приведены в [1, с. 284...285], [3, с. 277]. Обраща-

ем внимание на такие основные положения:

Единица измерения количества информации определяется основой логарифма,

!общепринятое вычисление логарифма с основой 2

1 дв.ед. (бит) – количество информации в сообщении, вероятность которого рав-

!на 0,5

Пример 1.1. Найти количество информации в последовательности из шести знаков от некоторого датчика, при условии, что знаки источника равновероятные и независимые, а объем источника МA = 16.

Решение. Если знаки равновероятные, то вероятность каждого из них Р(аk) = 1/ МА = 1/16, каждый знак по формуле (1.1) несет І(аk) = – log216 = 4 дв.ед. информации. Знаки независимые, поэтому количество информации в последовательности из N = 6 знаков Ізн =

I(ak ) = 6 4 = 24 дв.ед.

k

Пример 1.2. Найти количество информации в слове Одеса украинского текста, считая, что буквы в текстах независимые.

Решение. Вероятности букв в украинских текстах приведены в табл. 4.1. По формуле (1.1) они несут такое количество информации: І(о) = 3,47 дв.ед.; І(д) = 5,27 дв.ед.; І(е) = 4,61 дв.ед.; І(с) = 5,09 дв.ед.; І(а) = 3,76 дв.ед. Таким образом, количество информации в слове Одеса в силу аддитивности информации равняется Ісл = 3,47 + 5,27 + 4,61 + 5,09 + 3,76 = 22,20 дв.ед.

Энтропия источника и ее свойства детально описаны в [1, с. 294…298], [4,с. 277...278]. Расчетные формулы (1.4), (1.5), (1.6) и (1.7). Обращаем внимание на такие основные положения:

!Энтропияника источника – это среднее количество информации в одном знаке источ-

Максимальную энтропию имеет источник равновероятных независимых сообще-

!ний

Упражнение 1.1. Вывести формулу для энтропии H(A)источника независимых сообщений.

Решение. Согласно определению, энтропия исчисляется как математическое ожида-

ние количества информации в одном знаке источника, т.е. H A I ak . По формуле (1.1)

І(аk) = log 2 (1/P(аk)). Тогда согласно правилу вычисления математического ожидания энтропия будет равна

MА

H A P ak log2 1P ak .

k 1

Упражнение 1.2. Доказать, что энтропия источника сообщений принимает лишь неотрицательные значения.

10

Решение. Поскольку вероятности знаков P(аk) 1, то 1/ P(аk) 1. А логарифм числа, большего единицы, всегда неотрицательный, поэтому количество информации всегда неотрицательное. Среднее значение неотрицательных чисел, которое определяет энтропию, также число неотрицательное.

Пример 1.3. Вычислить энтропию источника сообщений с объемом алфавита МА = 4, если вероятности независимых знаков: Р(а1) = 0,5; Р(а2) = 0,25; Р(а3) = Р(а4) = 0,125.

Решение. Согласно формуле (1.4) энтропия источника H(A) = – (0,5 log2 0,5 + + 0,25 log2 0,25 + 2 0,125 log2 0,125) = 1,75 дв.ед./знак.

Пример 1.4. Вычислить максимальную энтропию источника сообщений с объемом алфавита МА = 28.

Решение. Согласно формуле (1.7) максимальная энтропия источника

Hmax(A) = log2 28 = 4,81 дв.ед./знак.

Избыточность источника сообщений – это его свойство выдавать информацию большим количеством знаков, чем можно было бы [1, с. 298...299], [3, с. 278...279].

!Количественно избыточность источника сообщений характеризуется коэффициентом избыточности – расчетная формула (1.8) в табл. Л1.1.

Пример 1.5. Вычислить коэффициент избыточности источника сообщений, заданного в примере 1.3.

Решение. Согласно формуле (1.7) Hmax(A) = log2 4 = 2 дв.ед./знак. Энтропия источника вычислена в примере 1.3 и равняется 1,75 дв.ед./знак. Тогда по формуле (1.8) коэффициент избыточности Kизб = 1 – Н(A)/Нmax(A) = 1 – 1,75/2 = 0,125.

Производительность источника определена в [3, с. 279...280]. Расчетная формула

(1.9).

Производительность источника сообщений, это – средняя скорость выдачи ин-

!формации источником, т.е. среднее количество информации, производимой источником за секунду

Пример 1.6. Вычислить производительность источника дискретных сообщений, описанного в примере 1.3, если длительности сообщений 1, 2, 3 и 4 мс соответственно.

Решение. Энтропия этого источника из примера 1.3 H(A) 1,75 дв.ед./знак, средняя

длительность знаков вычисляется как математическое ожидание Т = 0,5 1 + 0,25 2 + 0,125 3 + 0,125 4 = 1,875 мс. Тогда по формуле (1.9) Rи = 1,75/(1,875 10–3) = 933 дв.ед./с.

Контрольные вопросы

1.1.Дать определения понятия информация.

1.2.Почему применяется логарифмическая мера количества информации?

1.3.Что в теории информации называют энтропией источника и как она определяется для источников независимых и зависимых сообщений?

1.4.Объяснить, какая разность в единицах измерения дв.ед., бит, дв.ед./с, бит/с.

1.5.Объяснить, какое отношение имеет единица измерения количества информации “бит” к двоичной системе исчисления.

1.6.Дать определения понятий производительность и избыточность источника сооб-

щений.

1.7.Перечислить причины появления избыточности источника.