Задание

В лабораторной работе требуется смоделировать непрерывный источник сообщений в соответствии с параметрами, заданными в таблице, произвести вычисление оценок его основных статистических характеристик: x_max, x_min, , и , а также построить гистограмму распределения вероятностей.

№ п/п	Закон распределения случайной величины
1	Равномерный (a=1, b=3)
2	Экспоненциальный (=2)
3	Нормальный (M(X) = 0,  = 1)
4	Логарифмически-нормальный (c=2)
5	Вейбулла (b=3, c=2)
6	Лапласа(a=1.5, =2)
7	Коши (a=2.5)
8	Симпсона (a=2.5)
9	Прямоугольного треугольника (a=3)
10	Параболы (a=0.25)
11	Равномерный (a=0, b=5)
12	Экспоненциальный (=1.2)
13	Нормальный (M(X)=2,  = 1.5)
14	Логарифмически-нормальный (c=1.5)
15	Вейбулла (b=2.5, c=2)
16	Лапласа(a=3, =1.5)
17	Коши (a=1.5)
18	Симпсона (a=1.75)
19	Прямоугольного треугольника (a=3.2)
20	Параболы (a=0.6)

Рекомендации по выполнению работы

Лабораторную работу рекомендуется выполнять в следующем порядке.

1. Формируется массив реализаций случайной величины r, распределенной по равномерному закону на интервале от 0 до 1. Для этого используется встроенный датчик случайных чисел. Объем массива J не менее 1000 элементов.

2. В соответствии с заданным вариантом производится моделирование непрерывного ИС с требуемым законом распределения.

3. Вычисляются оценки статистических характеристик и параметров гистограммы для массива реализаций смоделированного непрерывного источника. На графике гистограммы строится для сравнения аналитическая форма ФПВ f(x). Число шагов гистограммы выбирается не более (10…15).

Лабораторная работа № 2

Изучение методов рационального кодирования

Сообщений

Краткие теоретические сведения

Одной из основных задач, которую приходится решать при проектировании любой информационной системы, является передача информации от источника сообщений к получателю. В упрощенном виде структурная схема системы передачи информации может быть представлена так, как показано на рис. 1,а. Функционирование системы в данном виде возможно только тогда, когда алфавит источника сообщений совпадает с алфавитом входных состояний канала связи. На практике алфавит канала связи выбирается исходя из нескольких требований:

• п

  Рис. 1

  ередача сообщений от нескольких источников сообщений с различными ансамблями состояний;

• обеспечение максимальной помехоустойчивости передаваемых сообщений;

• простота технической реализации.

Выполнение данных требований приводит к тому, что непосредственная передача сообщений от источника по каналу связи становится невозможной. Возникает необходимость преобразования алфавита источника в алфавит входных состояний канала связи на передающей стороне и алфавита канала связи в алфавит получателя сообщений на приемной стороне. Прямое преобразование носит название процесса кодирования и осуществляется в кодере источника (рис. 1,б). Обратное преобразование называется декодированием и осуществляется с помощью декодера. Пару устройств кодер-декодер называют кодеком.

Современные информационные системы используют для передачи информации главным образом двоичные каналы связи. Алфавит состояний такого канала включает только два символа: 0 и 1. Процесс кодирования сообщений в этом случае заключается в представлении множества состояний источника в двоичной форме. Число символов, требующихся для кодирования одного сообщения, связано с числом сообщений источника следующим образом: L = log₂n, где n – число состояний источника. Если n не кратно степени числа 2, то L округляется в большую сторону. Пример двоичного кодирования источника с 8-ю состояниями приведен в табл. 1. Здесь L = log₂8 = 3.

Таблица 1

xi	x1	x2	x3	x4	x5	x6	x7	x8
Код	000	001	010	011	100	101	110	111

Следует отметить, что предыдущие рассуждения относились к источнику, для которого известно только число состояний, а их вероятности полагались равными. Более сложное описание дискретного источника сообщений в виде ансамбля состояний с различными вероятностями

подразумевает, что количество информации, получаемой при реализации различных состояний, может быть разным. Другими словами, имеется некоторая априорная (известная заранее) информация о возможности реализации того или иного состояния, которая позволяет предсказывать возможный исход эксперимента, уменьшая количество получаемой информации. В этом случае говорят об избыточности источника. Избыточность принято характеризовать показателями относительной энтропии и коэффициентом избыточности. Относительная энтропия  характеризует количество устраняемой неопределенности по отношению к максимально возможной и может быть найдена следующим образом:

,

где H(X) – энтропия источника с заданным ансамблем, а H_max(X) – максимальная энтропия источника с данным числом состояний. Первый показатель вычисляется посредством меры Шеннона, а второй – меры Хартли:

,

.

Коэффициент избыточности r характеризует степень избыточности источника

.

Если r = 0, то имеет место источник сообщений с равновероятными состояниями, для которого информативность состояний максимальна. Иначе ( r > 0) имеет место избыточность источника сообщений.

Избыточность источника сообщений приводит к тому, что в результате кодирования получается избыточный код. То есть каждый символ кодовой последовательности несет количество информации отличное от максимально возможного. Этот факт связан с тем, что сообщения источника, имеющие большую вероятность реализации (менее информативные сообщения), появляются чаще, а для их кодирования используется такая же длительность кодовой комбинации, как и для остальных. Естественной была бы ситуация, при которой менее информативные (часто встречающиеся) сообщения кодировались бы меньшим числом символов, чем более информативные. Методы кодирования, позволяющие устранить избыточность сообщений источника, называют методами рационального кодирования.

Одним из наиболее простых методов рационального кодирования является метод Шеннона-Фано. Кодовые комбинации, для соответствующих состояний источника находятся следующим образом. Состояния источника сообщений ранжируются в порядке убывания их вероятностей. Весь алфавит источника сообщений делится на две группы таким образом, чтобы суммарные вероятности сообщений каждой группы были примерно одинаковы. Далее, каждому состоянию из одной группы ставится в соответствие символ 1, а другой – 0. Там для каждой группы снова производится разбиение на равновероятные подгруппы и так далее до тех пор, пока в каждой подгруппе не останется по одному символу. Рассмотрим в качестве примера процесс построения кодовых комбинаций для источника с 8-ю состояниями (табл. 2).

Таблица 2

xi	p(xi)	прямой код	1-й шаг	2-й шаг	3-й шаг	4-й шаг	5-й шаг	6-й шаг	7-й шаг	Код Ш-Ф
x1	1/2	000	1/2							1
x2	1/4	001	1/2	1/4						01
x3	1/8	010		1/4	1/8					001
x4	1/16	011			1/8	1/16				0001
x5	1/32	100				1/16	1/32			00001
x6	1/64	101					1/32	1/64		000001
x7	1/128	110						1/64	1/128	0000001
x8	1/128	111							1/128	0000000

Из табл. 2 видно, что максимальную длину имеют кодовые комбинации с минимальной вероятностью. Энтропия источника, рассчитанная с помощью меры Шеннона:

.

Предельная энтропия для источника сообщений с 8-ю состояниями в соответствии с мерой Хартли:

.

Относительная энтропия  = H(X)/H_max(X)  1/3. Коэффициент избыточности r = 1 -   2/3.

Преимущество рационального кодирования по сравнению с прямым можно охарактеризовать величиной средней длительности кодовой комбинации

,

где L(x_i) – длина кодовой комбинации для символа x_i. В соответствии с данным выражением L_m = 127/64  2. То есть при использовании кода Шеннона-Фано для источника с указанным распределением вероятностей средняя длина кодовой комбинации равна двум символам, тогда как при прямом кодировании – трем. Это позволяет сократить объем передаваемой информации более чем на 30 %.

П

Рис. 2

роцесс декодирования непрерывной последовательности кодовых комбинаций основан на процедуре накопления получаемых символов до тех пор, пока не будет принят символ 1 или длина последовательности нулей не станет равной 7. Пример декодирования кодовой последовательности приведен на рис. 2. Здесь вертикальные отметки показывают момент принятия решения о получении соответствующего символа.

Одним из существенных недостатков описанного метода кодирования является его слабая формализуемость. В самом деле, поиск наилучшего варианта разбиения методом прямого перебора возможных сочетаний при сколь-нибудь значительном числе состояний является ресурсоемкой вычислительной задачей. Кроме того, не все сочетания символов являются разрешенными. Например, крайне нежелательно объединение в группу двух состояний, одно из которых имеет гораздо большую вероятность, чем другое. В этом случае для их передачи потребуется одинаковое число символов, что не соответствует принципам рационального кодирования.

От указанных недостатков свободен другой метод рационального кодирования – метод Хаффмана. Кодовые комбинации для данного метода могут быть получены в соответствии со следующим алгоритмом. Состояния источника ранжируются в порядке убывания их вероятностей. Два состояния, имеющие минимальные вероятности, объединяются в одно, вероятность которого равна сумме вероятностей объединяемых состояний. В результате объединения получается новый набор состояний, число которых на единицу меньше первоначального. Полученные состояния снова ранжируются. Операция объединения повторяется. Так продолжается до тех пор, пока в результате объединения не будет получено одно состояние с вероятностью 1. На основании результатов объединения состояний строится бинарное кодовое дерево. Узлам данного кодового дерева сопоставляются вероятности объединяемых состояний, а ветвям – символы 0 или 1.

Пример описанного алгоритма для дискретного источника сообщений, имеющего 8 состояний, представлен на рис. 3, а полученное кодовое дерево – на рис. 4. Для получения кодовой комбинации для состояния x_i необходимо найти путь, ведущий от корня кодового дерева до узла, соответствующего данному состоянию. Последовательность ветвей, образующих путь, указывает на последовательность

Рис. 3

символов 0 и 1 в кодовой комбинации. Для указанного примера кодовые комбинации приведены в табл. 3. Нетрудно заметить, что выполняется основное правило рационального кодирования – сообщению с меньшей вероятностью соответствуют кодовые комбинации большей длины и наоборот.

Таблица 3

x1	x2	x3	x4	x5	x6	x7	x8
11	10	000	001	011	0101	01001	01000

Д екодирование непрерывной последовательности кодовых комбинаций осуществляется с помощью кодового дерева. С помощью получаемых символов производится трассировка пути от корня дерева до конца ветви. Достижение окончания ветви соответствует моменту принятия решения о получении символа x_i.

С

Рис. 4

редняя длительность кодовой комбинации в данном примере: L_m = 2.8 (при прямом кодировании 3). Относительно невысокий выигрыш связан с более равномерным распределением вероятностей, чем в примере, рассмотренном для кода Шеннона-Фано.

Рассмотренные методы рационального кодирования относятся к классу оптимальных кодов, так как не требуют передачи разделительных символов. То есть любая кодовая комбинация может быть выделена из непрерывной последовательности, наблюдаемой с начала. Существует ряд кодов, не являющихся оптимальными. К числу таких кодов можно отнести хорошо известный код Морзе. Данный код спроектирован только с учетом частоты появления символов латинского алфавита. Для однозначного выделения закодированных символов необходимо, чтобы между ними существовали однозначно идентифицируемые разделительные интервалы.