Дырда, Иващенко Учебн пособие рус

21

Числовые параметры найденного кода такие:

–коэффициент эффективности = H(A)/ n = 3,02/3,05 = 0,990;

–коэффициент сжатия = n/n = 4/3,05 = 1,143.

В примере 3.2 коэффициент сжатия кода Хаффмана незначительный. Это является следствием того, что алфавит источника имеет всего девять знаков. Для источника с большим числом знаков и большим разнообразием вероятностей этот показатель повышается.

Таблица Л3.4 – Пример построения кода Хаффмана

Сравним формулы (1.4) и (3.5). Легко заметить, что в случае, когда nk = –log2P(ak) для всех k, то средняя длина кодовой комбинации n = H (A). Отметим, что это минимально возможное значение n , поскольку один двоичный символ при равновероятныхх символах не может переносить больше одной двоичной единицы информации. С другой стороны, равенство n = H(A) достигается, когда вероятности кодируемых знаков удовлетворяют равенству

P(ak) = 2 nk для всех k , т.е. вероятности являются целыми степенями числа 2. В общем случае это не выполняется. К этому можно лишь приближаться при укрупнении алфавита. Из-

ложенное отображает суть теоремы кодирования для источника:

Контрольные вопросы

3.1.Почему знаки дискретного источника подлежат кодированию перед их передачей или запоминанием?

3.2.Как определяются основные параметры кода: объем (основание) вторичного алфавита, длина (разрядность) кода?

3.3.Какое число разрядов должно быть в равномерном коде, предназначенном для кодирования первичного алфавита, который состоит из 128 знаков, при основании кода m = 2, 4, 8, 16, 32.

3.4.Объяснить принцип эффективного кодирования.

3.5.Как определить коэффициенты сжатия и эффективности неравномерного кода?

22

ЗАДАЧИ для самостоятельной работы студентов

3.1. Задано три кода

Необходимо: 1) определить вид кода; 2) определить, какой из этих кодов является префиксным и почему; 3) закодировать последовательность а6а0а3а3а7а2а1 всеми тремя кодами; 4) декодировать двоичные последовательности: а) кода 1 – 111010011101000110; б) кода

3 – 1111001011110.

3.2.Закодировать число 47 натуральным кодом при основании кода m = 2, 4, 8, 10. Как изменяется число разрядов кодовых комбинаций для разных оснований кода?

3.3.Объем алфавита источника МА = 18 знаков, длительность выдачи одного знака Тзн

=0,01 с. Определить длину (разрядность) равномерного кода и скорость цифрового сигнала

(бит/с).

3.4.Источник выдает сообщения (знаки) двоичными символами равномерного кода: длина кода 8 разрядов, длительность выдачи одного знака Тзн = 0,1 мс. Определить максимально возможное число кодовых комбинаций, которое можно закодировать этим кодом, длительность выдачи одного символа и скорость цифрового сигнала (бит/с).

3.5.Вероятности сообщений (знаков) источника такие: Р(а1) = 0,04; Р(а2) = 0,50; Р(а3) = 0,10; Р(а4) = 0,20; Р(а5) = 0,06; Р(а5) = 0,10. Построить оптимальный неравномерный двоичный код Хаффмана или Шеннона-Фано. Вычислить среднюю длину кодовой комбинации и указать, насколько она меньше длины равномерного кода.

3.6.Декодировать последовательность 01101011111, которая была закодирована ко-

дом Хаффмана или Шеннона-Фано: а1 – 11111; а2 – 0; а3 – 110; а4 – 10; а5 – 11110; а6 – 1110.

Словарь основных терминов и понятий

Алфавит источника (синоним – алфавит сообщения) – совокупность знаков, которые используются источником для выдачи сообщений.

–вторичный – совокупность кодовых символов, с помощью которых осуществляется кодирование, и которые отличаются один от другого теми или другими признаками.

Декодер – устройство, которое осуществляет декодирование.

Длина (синоним – разрядность) кода n – число символов в кодовой комбинации равномерного кода.

Знак – совокупность признаков, по которым что-нибудь узнается или распознается. В теории кодирования все, что кодируется, называют знаками.

Информационная последовательность (синонимы – данные, для двоичного кода –

информационные биты) – последовательность символов вторичного алфавита на выходе кодера источника сообщений.

Код – алгоритм (правило) перехода от одного алфавита к другому.

–многопозиционный (синоним – недвоичный) – код с основанием m > 2.

–двоичный (синоним – бинарный) – код с основанием m = 2, символами кода явля-

ются 0 и 1.

–источника – алгоритм (правило) перехода от знаков алфавита источника к кодовым комбинациям символов вторичного алфавита.

–корректирующий– код, позволяющий обнаруживать и/или исправлять ошибки, возникающие в канале связи из-за действия помех.

–линии – правило представления двоичных символов импульсами, удобными для передачи определенной физической линией.

23

–равномерный – код, содержащий постоянное число кодовых символов вторичного алфавита в каждой кодовой комбинации.

–неравномерный – код, имеющий сменное число кодовых символов вторичного алфавита в кодовой комбинации.

–натуральный – представление числового номера знака в любой позиционной системе исчисления.

–стандартный – представление знаков источника стандартизированными определенной организацией по стандартизации кодовыми комбинациями.

–– Морзе – первый эффективный статистический непрефиксный недвоичный код, предложенный С. Морзе в 1837 г. Его вторичные символы – точка, тире, пауза.

–– Бодо – первый пятиразрядный двоичный код для телеграфной связи, предложенный в 1877 г. французским изобретателем Ж. Бодо.

–– МТК № 2 – стандартный пятиразрядный двоичный Международный телеграфный код № 2.

–– МТК № 3 – стандартный семиразрядный двоичный Международный телеграфный код № 3 с постоянным весом 3/4, т.е. каждая кодовая комбинация этого кода имеет три 0 и четыре 1.

–– ASCII – американский стандартный двоичный семиразрядный код для обмена информацией, популярный из-за его применения в компьютерах.

–избыточный – код, у которого количество возможных кодовых комбинаций M превышает количество знаков первичного алфавита MА, используются не все кодовые комбинации.

–эффективный (синоним – экономный) – код, который позволяет уменьшить избыточность сообщений.

–Шеннона-Фано – первый эффективный статистический префиксный двоичный код, предложенный К. Шенноном и Р. Фано в 1951 г.

–Хаффмана – эффективный статистический префиксный двоичный код, предложенный Д. Хаффманом в 1952 г.

–регистровый – код, у которого количество кодовых комбинаций M меньше количества знаков первичного алфавита MА, а поэтому одни и те же кодовые комбинации используются для кодирования разных знаков.

–оптимальный – наилучший по некоторому критерию, например, код Хаффмана оптимальный по критерию минимума средней длины кодовой комбинации.

–префиксный (синоним – без запятой) – не нуждается в разделительных знаках между кодовыми комбинациями.

–– статистический – для кодирования используются вероятностные характеристики источника сообщений.

Кодирование – процедура перехода от знаков одного алфавита (первичного) к знакам (символам) другого (вторичного) алфавита.

Кодер – устройство, которое осуществляет кодирование.

Кодек – устройство, которое осуществляет кодирование и декодирование.

Кодовая таблица – представление алгоритмов кодирования и декодирования в виде таблицы.

Кодовая комбинация (синоним – кодовое слово) – совокупность знаков вторичного алфавита, которые отображают один знак первичного алфавита.

Кодовое дерево – представление процедуры кодирования в виде графа.

Кодирование дискретного источника – преобразование знаков (сообщений) источника в кодовые комбинации символов вторичного алфавита.

Коэффициент сжатия сообщения – отношение длины равномерного кода n к средней длине кодовых комбинаций неравномерного кода.

Коэффициент эффективности кода – отношение энтропии источника к средней длине кодовых комбинаций неравномерного кода.

24

Объем алфавита источника сообщений MА – количество знаков, которые использу-

ются источником.

Основание кода (синоним – объем вторичного алфавита) – количество символов вто-

ричного алфавита, которые используются для кодирования.

Символы – стандартные знаки вторичного алфавита, с помощью которых осуществляется кодирование, отличаются один от другого теми или другими признаками, например, 0 и 1.

Формат кода (синоним – форматирование кода) – преобразование цифровой последовательности символов вторичного алфавита в цифровой сигнал.

Цифровая последовательность (синонимы – цифровой поток, данные) – последова-

тельность символов вторичного алфавита на выходе кодера.

Лекция 4. Информационные характеристики источника непрерывных сообщений

Тематика лекции

1 Математические модели источников непрерывных сообщений и их статистические характеристики.

2 Информационные характеристики источника непрерывных сообщений: количество информации; энтропия непрерывного источника; дифференциальная, относительная и эпси- лон-энтропии, их свойства; избыточность; эпсилон-производительность.

Таблица Л4.1 – Расчетные формулы информационных характеристик непрерывного сигнала b(t)

Математические модели источников непрерывных сообщений. В телекоммуника-

ционных системах непрерывное сообщение a(t) преобразуется пропорционально (без потерь

25

информации) в первичный сигнал b(t) = ka(t). Оказалось удобным вместо анализа информационных характеристик источника непрерывных сообщений анализировать информационные характеристики первичного сигнала b(t). Поэтому в дальнейшем речь идет лишь о первичном непрерывном сигнале b(t).

Сигнал b(t) – это реализации стационарного эргодического случайного процесса B(t) с его вероятностными характеристиками:

1)одномерными функцией распределенияF(b) и плотностью вероятности p(b);

2)средним значением В и дисперсией D{B};

3)функцией корреляции KB( ) и спектральной плотностью мощностиGB( ).

Все непрерывные сообщения (эквивалентные им действительные первичные сиг-

!налы) имеют спектры, сосредоточенные в ограниченной полосе частот 0...Fmax

Некоторые из математических моделей непрерывных источников сообщений и помех рассмотрены в [2, с. 73...78]. Там же детально описана модель речевого сообщения.

Информационные характеристики источников непрерывных сообщений. Количе-

ство информации в непрерывном сообщении рассмотрено, например, в [1, с. 313]. Результат не является неожиданным – количество информации в непрерывном сообщении и соответствующем ему первичном сигнале b(t) стремится к бесконечности. Объясняется это тем, что непрерывное сообщение имеет бесконечное множество реализаций, вероятность появления любой из них стремится к нулю.

Интуитивно понятно, что разные сигналы содержат разное количество информации. Кроме того, сигнал большей длительности предоставляет получателю большее количество информации. Поэтому для числовой оценки среднего количества информации непрерывного источника (по аналогии с дискретным источником) были введены понятия “энтропия не-

прерывного источника”.

Как отмечено в [5], понятие “энтропия непрерывного источника” более чем за полстолетия так и не получило общепринятого названия и определения. У К. Шеннона

!эта величина вообще не имеет названия, ныне разными авторами используются термины – дифференциальная, относительная, Кульбака-Лейблера, эпсилон-энтропия, функция скорость-искажение

Вэтом пособии для энтропии непрерывного источника используется понятие и тер-

мин из [1, 2, 5].

Дифференциальная энтропия источника непрерывного сигнала b(t) является аналогом энтропии источника дискретного сообщения, формально вычисляется как математическое ожидание количества информации в отсчете по плотности вероятности, характеризует степень неопределенности источника. Ее свойства детально описаны в [1, с. 314...316], [3, с. 211...219].

Обращаем внимание на то, что дифференциальная энтропия:

– вычисляется на отсчет, а отсчеты сигнала могут быть независимыми или зависимы-

ми;

–зависит от дисперсии сигнала b(t) и ее размерности;

–не показывает среднего количества информации в отсчете, но предоставляет возможность сравнивать количество информации разных источников.

Примеры вывода формул дифференциальной энтропии приведены в упражнениях 4.1

и4.2, расчетные формулы – в табл. Л4.2. Для зависимых (коррелированных) отсчетов она рассчитывается по n-мерной плотности вероятности.

26

Упражнение 4.1. Вывести формулу для вычисления дифференциальной энтропии сигнала b(t), если он имеет гауссовское распределение вероятности с нулевым средним значением.

Решение. Если в формулу (4.2) подставить выражение p(b) для гауссовского распределения вероятностей, получим

то h(b) = log2 2 D В + 0,5log2 e = log2 2 eD В .

Упражнение 4.2. Вывести формулу для вычисления дифференциальной энтропии сигнала b(t) с равномерным распределением вероятностей и нулевым средним значением.

Решение. Если в формулу (4.2) подставить выражение p(b) для равномерного распределения, получим

Поскольку p(b)db =1 и для равномерного распределения вероятности

D В (2bmax)2 /12, то h(b) = log2 12D(B) .

Таблица Л4.2 – Расчетные формулы для дифференциальной энтропии (на отсчет) сигнала b(t) с дисперсией D{B} при независимых отсчетах, дв.ед./отсчет (бит/отсчет)

Пример 4.1. Рассчитать дифференциальную энтропию сигнала b(t) с такими распределениями вероятностей: а) гауссовское; б) одностороннее экспоненциальное; в) двустороннее экспоненциальное; г) равномерное. Отсчеты независимые, дисперсия сигналаD{B} = 10–4 В2.

27

Решение. По формулам (4.10)...(4.13) имеем:

а) для гауссовского распределения

h(B) = log2 2 eD В = 0,5 log2(2 e 10–4) = – 4,60 дв.ед./отсчет;

б) для одностороннего экспоненциального распределения

h(B) = log2 e2D В = 0,5 log2(e2 10–4) = – 5,20 дв.ед./отсчет;

в) для двустороннего экспоненциального распределения

h (B) = log2 2e2D В = 0,5 log2(2e2 10–4) = – 4,70 дв.ед./отсчет;

г) для равномерного распределения

h (B) = log2 12D В = 0,5 log2(12 10–4) = – 4,85 дв.ед./отсчет.

Из примера 4.1 вытекает, что, во-первых, дифференциальная энтропия может быть отрицательной (определяется значением дисперсии), во-вторых, наиболь-

!шая дифференциальная энтропия при заданной дисперсии имеет место в случае гауссовского распределения сигнала

Энтропию источника непрерывного сигнала b(t), которая характеризует количество информации в отсчете, можно вычислить по разным соотношениям. Для этого необходимо обратиться к тому очевидному факту, что сигнал b(t) всегда можно представить приближен-

ным к нему сигналом bˆ(t) с некоторой погрешностью t bˆ t b t . Допустимый средний

квадрат погрешности 2(t) можно задать.

Относительная энтропия (синоним – энтропия Кульбака-Лейблера) [5] непрерывного сигнала вычисляется как взаимная энтропия между сигнал b(t) и его приближенным пред-

ставлением bˆ(t) (формула (4.6)). При этом никаких требований к функции распределения погрешности ε(t) не предъявляется, но очевидно, что, чем больший средний квадрат погреш-

ности 2(t), тем меньшее значение относительной энтропии.

Академик А.М. Колмогоров ввел понятие эпсилон-энтропии, использовав понятие эквивалентность сигнала b(t) и его приближенного представления bˆ(t). Сигналы b(t) и bˆ(t)

называются эквивалентными, если средний квадрат погрешности 2(t) не превышает за-

данное число 20 .

Эпсилон-энтропией Hε(B) называется минимальное среднее количество информации в одном независимом отсчете сигнала bˆ(t) относительно сигнала b(t), когда они эквивалент-

ные с заданным значением погрешности 20 . При этом распределение вероятности погреш-

ности ε(t) должно быть таким, чтобы обеспечить минимальное среднее количество информации в отсчете (при ограниченной дисперсии погрешности это гауссовское распределение вероятностей).

Т.е., эпсилон-энтропия – минимальная взаимная информация между bˆ(t) и b(t),

!которую можно получить о сигнале b(t), наблюдая его приближенное представле-

ние bˆ(t): Hε(B) = min hвз( Вˆ , B)

Примеры вывода формул эпсилон-энтропии представлены в упражнениях 4.3, 4.4, расчетные формулы – в табл. Л4.3 для разных распределений вероятностей сигнала.

Упражнение 4.3. Вывести формулу для вычисления эпсилон-энтропии источника непрерывного сигнала b(t) в общем случае.

Решение. По формуле (4.7)

28

H (B) = min[h(B) – h(B/Вˆ )] = h(B) – maxh(B/Вˆ ) = h(B) – maxh(E),

поскольку сигналы b(t) и bˆ(t) отличаются на ε(t).

При заданной дисперсии погрешности D{E} = 02 минимальное значение h(Е) имеет место лишь в случае гауссовского распределения погрешности ε(t). Тогда

Упражнение 4.4. Вывести формулу для вычисления эпсилон-энтропии источника непрерывного сигнала b(t) с гауссовским распределением вероятностей.

Решение. Если в формулу (4.14) подставить выражение h(B) для гауссовского распределения вероятностей (формула (4.10)), то получим

где с/п – отношение дисперсий сигнала и погрешности.

Упражнение 4.5. Вывести формулу для вычисления эпсилон-энтропии источника непрерывного сигнала b(t), если сигнал имеет равномерное распределение вероятностей.

Решение. Если в формулу (4.14) подставить выражение h(B) для равномерного распределения вероятностей (формула (4.13)), то получим

Hε(B) = log2 12D В – log2 2 eD E = 0,5log2 (6/e )D(B)/D(E) = 0,5 log2(6/eπ) с/п ,

где с/п – отношение дисперсий сигнала и погрешности.

Таблица Л4.3 – Расчетные формулы эпсилон-энтропии на отсчет непрерывного сигнала b(t) при независимых отсчетах

Пояснение: с/п – отношение дисперсий сигнала b(t) и погрешности ε(t)

Пример 4.2. Рассчитать эпсилон-энтропию источников непрерывного сигнала, если сигналы имеют распределения вероятностей: а) гауссовское; б) двустороннее экспоненциальное; в) одностороннее экспоненциальное; г) равномерное и отношение дисперсий сигнала и погрешности с/п = 43 дБ.

Решение. За формулами (4.15)...(4.18) имеем:

а) для гауссовского распределения

H (B) = 0,5 log2 с-п = 0,5 log2104,3 = 7,14 дв.ед./отсчет;

б) для одностороннего экспоненциального распределения

H (B) = 0,5 log2(е с-п/2 ) = 0,5 log2(е 104,3/2 ) = 6,54 дв.ед./отсчет;

в) для двустороннего экспоненциального распределения

H (B) = 0,5 log2(е с-п/ ) = 0,5 log2(2е 104,3/ ) = 7,54 дв.ед./отсчет;

г) для равномерного распределения

H (B) = 0,5 log2(6 с-п/ e) = 0,5 log2(6 104,3/ e) = 6,89 дв.ед./отсчет.

29

Пример 4.3. Рассчитать избыточность источника непрерывного сигнала с эпсилонэнтропией, рассчитанной в примере 4.2, б, H (B) = 6,54 дв.ед./отсчет.

Решение. По формуле (4.8) избыточность источника Kизб = 1 – H (B) / max H (B). Если принять, что плотность вероятности сигнала гауссовская, то max H (B) = 7,14 дв.ед./отсчет (пример 4.3) и избыточность источника Кизб = 1 – 1,54/7,14 = 0,084.

Производительность (скорость выдачи информации) источника непрерывного сигнала можно вычислить, зная энтропию.

Производительность, вычисленная по относительной энтропии, получила название – функция скорость-искажения. Методы ее числовых расчетов представлены в [5], с. 247…251.

Производительность источника непрерывного сигнала, вычисленная по эпсилон-

!энтропии,носит название– эпсилон-производительность(формула (4.9) в табл. Л4.1.

Пример 4.4. Рассчитать эпсилон-производительность источника непрерывного сигнала с равномерным спектром и максимальной частотой спектра 15,0 кГц., эпсилон-энтропия которого вычислена в примере 4.2, г.

Решение. Если спектр сигнала равномерный, то интервал времени между независимыми отсчетами Tд = 1/(2Fmax) и эпсилон-производительность будет R и = H (B)/Tд = 2FmaxН (B). При H (B) = 7,14 дв.ед./отсчет R и = 2 15 103 7,14 = 214,2 103 дв.от/с.

Из примеров 4.2...4.4 вытекает, что наибольшее значение эпсилон-энтропии имеет

!сигнал с гауссовским распределением вероятностей при одинаковой погрешности его представления и, как следствие, наибольшую эпсилон-производительность

Контрольные вопросы

4.1.Чему равняется количество информации от источника непрерывного сигнала?

4.2.Может ли дифференциальная энтропия приобретать отрицательные значения?

4.3.Чем отличается дифференциальная энтропия от энтропии дискретного источника?

4.4.Пусть b(t) – первичный сигнал, который имеет ограниченный спектр. В дискретизаторе он заменяется отсчетами, взятыми через интервал Котельникова. Теряется или нет при таком преобразовании информация?

4.5.Дать определения понятия относительная энтропия, эпсилон-энтропия источника непрерывного сигнала.

4.6.Дать определения понятия эпсилон-производительность источника непрерывного

сигнала.

ЗАДАЧИ для самостоятельной работы студентов

4.1.Дифференциальная энтропия источника непрерывного сигнала h(В) = 3,8 дв.ед./отсчет и дифференциальная энтропия погрешности h(E) = –2,6 дв.ед./отсчет. Вычислить эпсилон-энтропию этого источника.

4.2.Рассчитать дифференциальную энтропию источника непрерывного сигнала, кото-

рый имеет гауссовское (одностороннее или двустороннее экспоненциальное) распределение вероятностей с дисперсией 0,25 В2.

4.3.Рассчитать эпсилон-энтропию источника непрерывного сигнала, который имеет гауссовское распределение вероятностей с дисперсией 2,5 В2. Дисперсия погрешности 0,0025 В2.

4.4.Рассчитать эпсилон-производительность источника непрерывного сигнала, который имеет гауссовское распределение вероятностей с дисперсией 2,5 В2, дисперсия погрешности 0,0025 В2. Спектр сигнала равномерный в полосе частот от 0 до 5,0 кГц.

4.5.Рассчитать эпсилон-производительность источника непрерывного сигнала, который имеет гауссовское распределение вероятностей, отношение дисперсий сигнала и погрешности 40 дБ. Спектр сигнала равномерный в полосе частот от 0 до 15,0 кГц.

30

Словарь основных терминов и понятий

Относительная энтропия источника непрерывного сигнала (синоним – энтропия Кульбака-Лейблера) – среднее количество информации в отсчете непрерывного сигнала, представленного с определенной погрешностью.

Дифференциальная энтропия – формально, по аналогии с дискретным источником, вычисленное математическое ожидание количества информации в отсчете непрерывного сигнала по плотности вероятности. Она не показывает среднего количества информации источника непрерывного сигнала, но дает возможность сравнивать количество информации разных источников.

Эквивалентность сигналов – два непрерывных сигнала являются эквивалентными, если рассчитанные для их реализаций средние квадраты разности не превышают заданную величину 02.

Энтропия источника непрерывного сигнала – среднее количество информации в от-

счете непрерывного сигнала, вычисленная по определенному правилу.

Эпсилон-энтропия источника непрерывного сигнала (введенная акад. А.М. Колмогоро-

вым) – минимальное среднее количество информации в одном независимом отсчете сигнала bˆ(t) относительно сигнала b(t), когда они эквивалентные при заданном значении среднего квад-

ратупогрешности 02.

Эпсилон-производительность – средняя скорость выдачи информации источником непрерывного сигнала, вычисленная по эпсилон-энтропии.

Функция скорость-искажение – средняя скорость выдачи информации источником непрерывного сигнала, представленного с погрешностью (t), которая вычисляется по относительной энтропии.

Лекция 5. Кодирование непрерывных сообщений

Тематика лекции

1 Общие принципы кодирования непрерывных сообщений: аналого-цифровое (АЦП) и цифроаналоговое (ЦАП) преобразование.

2Кодирование по методу импульсно-кодовой модуляции (ИКМ): структура АЦП и ЦАП, помехоустойчивость, компандирование.

3Порядок расчетов параметров АЦП и ЦАП при ИКМ.

Таблица Л5.1 – Расчетные формулы параметров цифрового метода передачи (ЦМП) непрерывных (аналоговых) сигналов методом ИКМ

Наименование параметра Расчетная формула

Номер фор-лы