Задача для самостоятельной работы

Задача 9.1. Исследуется дискретный постоянный источник сообщений с памятью.

Нужно выполнить следующее:

1. Снять статистические данные о количестве символов, вырабатываемых источником.

2. Вычислить частоты появления символов на выходе источника (безусловные и условные). Результаты представить в виде стохастического вектора и стохастической матрицы.

3. Выяснить, является ли источник марковским.

4. Определить информационные (интегральные) характеристики дискретного источника сообщений при средней длительности символа 0,12 с., количество информации в символах.

5. Составьте MatLab – программу оценки информационных характеристик дискретного источника.

Снятые статистические данные источника

10. Основы теории кодирования и передачи информации

10.1. Кодирование информации

В системе передачи информации состояние того или иного объекта отражается в форме сообщения, представленного в виде символов. Независимо от содержания сообщение обычно передается в виде последовательности электрических, звуковых, световых и иных сигналов, характеризующих символы сообщений. Операция перевода сообщения в последовательность различных сигналов называется кодированием.

Правило, ставящее в соответствие каждому передаваемому сообщению некоторую комбинацию сигналов, называется кодом. Если все комбинации кодов имеют одну и ту же длину (число символов или разрядов в кодовой комбинации), m=const, то такие коды называются равномерными. При m=var коды называются неравномерными. По основанию системы счисления коды делятся на двоичные (k=2), десятичные (k=10) и т.п. Величина k определяет число значений сигнала, характеризующих каждый символ сообщений в данной системе счисления. Например, при m=2 и k=2 (0 и 1) можно составить четыре комбинации: 00 01 10 11. Количество возможных комбинаций сигналов при заданных m и k равно:

n=km.

(10.1)

При наличии числа возможных событий m код называется неизбыточным, если m=n. При m<n код называется избыточным. Переход от неизбыточного кода к избыточному осуществляют путем добавления некоторых контрольных позиций.

При кодировании информации, подлежащей передаче, нужно учитывать следующее:

1). Код должен быть экономичным, то есть среднее число сигналов, необходимых для полной индексации каждого признака из m (например, каждой буквы алфавита), должно быть минимально;

2). Код должен быть однозначно декодирован в общем потоке сообщений; для равномерного кода эта задача решается элементарно без какого-либо разделения (введение разделительных сигналов снижает экономичность кода), никакое кодовое обозначение не должно совпадать с началом какого-либо другого, более длинного кодового обозначения;

3). Код должен быть помехоустойчивым, то есть при передаче закодированного сообщения возможные в начале передачи помехи, шумы не должны искажать суть сообщения.

10.2. Формирование экономичного кода алфавита

Для наиболее распространенного двоичного кода среднее число двоичных элементарных сигналов , приходящихся в закодированном сообщении на одну букву исходного сообщения, не может быть меньше , то есть , где – энтропия одной буквы. Исходя из этого, при любом методе кодирования для записи длинного сообщения из букв требуется не меньше чем двоичных знаков. Это обстоятельство вытекает из условия, что , и что все буквы независимы между собой. В этом случае

Если , то Отсюда следует, что учет статистических закономерностей сообщения позволяет построить более экономичный, чем равномерный код. Такой код является неравномерным.

Неравномерный побуквенный код объемом над алфавитом A определяется как произвольное множество последовательностей одинаковой или различной длины из букв алфавита A.

Код называется однозначно декодируемым, если любая последовательность символов из A единственным способом разбивается на отдельные кодовые слова.

Пример 10.1. Для источника среди четырех кодов:

1)

2)

3)

4)

первые три кода однозначно декодируемы, последний код – нет.

Если ни одно кодовое слово не является началом другого, код называется префиксным. Префиксные коды являются однозначно декодируемыми. В примере 10.1 префиксным кодом является код Префиксные коды удобно представлять в виде кодовых деревьев (Рисунок 10.1).