Лабораторная работа №6. Типичные и нетипичные комбинации источника дискретных сообщений

Все последовательности, длинной выдаваемые дискретным источником сообщений можно разделить на типичные и не типичные. Например, типичная комбинация для дискретного источника сообщений, выдающий осмысленный текст на русском языке, это слова с средней длинной символов. Не типичная комбинация, в этом случае будет бессмысленный набор символов длинной .

Если, в качестве выходной информации источника рассматривать типичные комбинации (обозначим его как ), то максимально возможная энтропия такого источника будет равна

В этом случае энтропию исходного источника сообщений, через количество типичных комбинаций можно записать как

Исходя из (6.1) количество типичных комбинаций можно выразить как

(6.2)

С учетом того, что избыточность источника , , формулу (6.2) можно переписать как

.

Общее количество комбинаций источника дискретных сообщений длиной равно

Соотношение между типичными и нетипичными комбинациями можно выразить как

, (6.3)

. (6.4)

Например, если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длинна слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длинной в шесть символов.

В этом случае при и

,

.

Исходя из выше изложенного можно утверждать, что всего в русском языке можно построить возможных слов, но осмысленными из них будет только слов.

Выполнение лабораторной работы

Для выполнения лабораторной работы необходимо запустить программу лабораторной работы TIPSlab6.exe и загрузить в окно программы текстовый файл. Ознакомится с информационными характеристиками рассматривая в качестве источника сообщений последовательно: слова, буквы, биты.

Сравнить информационные характеристики источников дискретных сообщений (для слов, букв, бит) с учетом реальных длин последовательностей символов кодирующих устройств (для слов – букв, для букв – бит).

В качестве текста для обработки рекомендуется взять электронные издания, доступные в сети Internet. Например, на рис. 6.1 приведены результаты обработки поэмы А.В.Гоголя «Мертвые души». Для более точных результатов анализа рекомендуется конвертировать текст к одному регистру и избавится от всех знаков препинания, переносов и тп. Данную операцию удобнее всего проделать в Ms Word, после чего сохранить файл в формате текста.

Рис.6.1. Внешний вид программы лабораторной работы и результаты расчета

Содержание отчета

Отчет по лабораторной работе должен содержать:

1. Информационные характеристики выбранного Вам текса, представленные последовательно для слов, букв, бит.

2. Результаты Вашего расчета количества типичных комбинаций бит и букв.

3. Сравнение результатов и выводы по лабораторной работе.

Лабораторная работа №7. Энтропия источника непрерывных сообщений

Непрерывный сигнал , принимает бесконечное множество возможных значений на интервале . Вероятность появления конкретного значения , бесконечно мала, вследствие бесконечного количества их возможных значений. Пусть – плотность вероятности сигнала на интервале .

Для получения значения энтропии сигнала разделим область изменения сигнала на интервалов с равномерным шагом (см. рис. 7.1). Вероятность нахождения сигнала в интервале от до соответственно будет равна . В случае если рассмотреть дискретный источник, где в качестве сообщения будем рассматривать факт нахождения значения на интервале , то по (7.__) энтропия источника непрерывных сообщений будет равна

(7.1)

При переходе и так как , получим

. (7.2)

Таким образом, энтропия непрерывного источника сообщений равна бесконечности.

Первую часть выражения (2.26) можно рассматривать как дифференциальную энтропию непрерывного источника сообщений:

. (7.3)

Значение показывает степень неопределенности различных процессов. Исходя из (2.27) значение дифференциальной энтропии может быть .

Максимальное значение достигается при нормальном распределении сигнала []. Для с дисперсией значение

. (7.4)

Выполнение лабораторной работы

Этап I

Запустить программу лабораторной работы TIPSlab7.exe. Выбирая различные сигналы, их параметры, суммы сигналов изучить значения дифференциальной энтропии. Найти для каких сигналов дифференциальная энтропия будет иметь максимальное значение.

Исследовать влияние шага расчета дифференциальной энтропии на получаемые значения.

Внешний вид и пример результатов исследования показан на рис. 7.1.

Рис. 7.1. Внешний вид программы и результаты исследования значений дифференциальной энтропии

Этап II

Реализовать программу вычисления дифференциальной энтропии в MatLab.

Сформировать массив, содержащий сигнал, выбранный Вами в программе лабораторной работы. Для построения сигнала с нормальным законом распределения Вам рекомендуется сложить несколько процессов с равномерным законом распределения:

.

По полученному массиву Вам необходимо построить гистограмму процесса и по (7.3) рассчитать значение дифференциальной энтропии.

Содержание отчета

Отчет по лабораторной работе должен содержать:

1. Виды сигналов и плотности распределения исследуемых в программе лабораторной работы сигналов и значения дифференциальной энтропии этих сигналов.

2. График и плотность распределения процесса, построенного в MatLab.

3. Листинг сеанса MatLab.

4. Рассчитанное значение дифференциальной энтропии.

5. Выводы о том, какие свойства сигналов больше влияют на значение дифференциальной энтропии.

Лабораторная работа №7. Линейные коды

В лабораторной работе исследуются линейные коды, получившие большое распространение на практике. Линейным двоичным кодом называется код, для которых сумма по модулю два любых разрешенных кодовых комбинаций является разрешенной кодовой комбинацией.

Линейный код является систематическим, если символов его являются информационными, а символов являются проверочными (– длинна кодовой последовательности).

Линейный код обозначают и его можно записать как:

Избыточность линейного кода определяется как:

.

Для примера рассмотрим код (8,4), проверочные символы которого формируются следующим образом:

.

Например, при передачи символа , кодовая последовательность будет имеет значение: .

Получатель сообщения примет последовательность . Вследствие ошибки в канале принятая последовательность может отличатся от переданной последовательности: . В этом случае выбирается комбинация наиболее близкая по расстоянию по Хеменгу из числа всех возможных комбинациях.

Например, при передаче рассмотренной выше последовательности возникли ошибки, результаты сравнения приведены в табл.7.1.

Табл. 7.1. Пример работы линейного кода (8,4)

Переданная последовательность		0 1 0 0 1 0 1 1	0 1 0 0 1 0 1 1	0 1 0 0 1 0 1 1
Ошибка		0 0 0 0 0 0 0 0	0 0 0 0 0 0 0 1	1 0 0 0 0 0 0 1
Принятая последовательность		0 1 0 0 1 0 1 1	0 1 0 0 1 0 1 0	1 1 0 0 1 0 1 0
Все возможнее комбинации кода		Расстояние по Хеменгу между переданной и принятой последовательностью
0	0 0 0 0 0 0 0 0	4	3	4
1	0 1 1 1 1 0 0 0	4	3	4
2	1 0 1 1 0 1 0 0	8	7	6
3	1 1 0 0 1 1 0 0	4	3	2
4	1 1 0 1 0 0 1 0	4	3	2
5	1 0 1 0 1 0 1 0	4	3	2
6	0 1 1 0 0 1 1 0	4	3	4
7	0 0 0 1 1 1 1 0	4	3	4
8	1 1 1 0 0 0 0 1	4	5	4
9	1 0 0 1 1 0 0 1	4	5	4
10	0 1 0 1 0 1 0 1	4	5	6
11	0 0 1 0 1 1 0 1	4	5	6
12	0 0 1 1 0 0 1 1	4	5	6
13	0 1 0 0 1 0 1 1	0	1	2
14	1 0 0 0 0 1 1 1	4	5	4
15	1 1 1 1 1 1 1 1	4	5	4
Декодирование		Верно	Верно	Невозможно

При реализации декодера все возможные комбинации кода записываются в ПЗУ. Формируемые полиномы в кодере, так же обычно представляются в виде двоичной матрицы. Для рассмотренного примера эта матрица имеет значение:

.

Процесс кодирования в этом случае выглядит следующим образом:

.

К недостаткам линейных кодов можно отнести необходимость хранения больших массивов чисел.