1.1 Кодирование сообщений переданных дискретным источником

Теория информации – это наука, появившаяся в 1948г в результате публикации Клод Шенноном « Математическая теория связи».Ниже представлена структурная схема типичной системы передачи или хранения информации

Рис. 1. Структурная схема типичной системы передачи или

хранения информации

Источник – любое устройство или объект живой природы, порождающие сообщения, которые должны быть перемещены во времени или пространстве. Например, клавиатура, человек.

Цель кодера источника – представление информации в наиболее компактном виде. Это надо для того, чтобы эффективно использовать ресурсы канала связи или запоминающего устройства.

Кодер канала производит обработку информации с целью защиты сообщений от помех при передаче по каналу связи либо от возможных искажений при их хранении.

Модулятор используется для преобразования сообщений, формируемых кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопления информации.

Остальные блоки выполняют обратные действия и представляют полученную информацию в удобном для использования виде.

Таким образом, в теории информации можно выделить следующие задачи:

1. Кодирование сообщений, переданных дискретным источником (кодирование без потерь, кодирование для канала без шума, сжатие информации).

2. Кодирование информации для передачи по каналу с шумом (защита информации от помех в канале связи).

3. Кодирование с заданным критерием качества. Например, в некоторых системах связи искажение информации допустимо. Здесь речь идет о методах кодирования, обеспечивающих наилучший компромисс между качеством (оцениваемым некоторой мерой искажения) и затратами на передачу информации. Сегодня задачи этого типа особенно актуальны, так как они находят широкое применение для цифровой передачи речи, видео- и аудиоинформации.

4. Кодирование информации для системы со многими пользователями. Например, оптимальное взаимодействие абонентов, использующих какой-либо общий ресурс, например, канал связи (системы мобильной связи, локальные сети ЭВМ).

5. Секретная связь, системы защиты информации от несанкционированного доступа.

Дискретные сообщения, подлежащие передачи от ИС средствами документальной электросвязи - телеграммы, данные, другие документы - являются буквенно-цифровыми. Они состоят из определенного, заранее известного общего количества знаков, т.е. букв, цифр, знаков препинания, арифметических символов. Набор знаков называют алфавитом (А), а их общее количество - объемом алфавита. Объем алфавита выбирается исходя из того, какие именно сообщения будут передаваться. Пусть объем алфавита (число символов алфавита) К, а вероятность выдачи символа (1≤ i ≤K) p(а_i), где p(а_i)-вероятность выдачи символа алфавита. 

К числу основных информационных характеристик сообщений относятся: количество информации в отдельных сообщениях, энтропия ипроизводительность источника сообщений. Количество информации в сообщении (символе) измеряется в битах. Бит – единичный элемент кодовой комбинации с основанием кода, равным двум.  Пусть рассматривается произвольный источник сообщений. Каждое сообщение – это последовательность символов (например, букв русского алфавита, точек и тире в телеграфии, 0 и 1 в компьютерной логике и т. д.).

Отдельные символы сообщения: – это случайная величина, принимающая всевозможные значения из алфавита сообщений : .

Если мощность конечна: , то это источник дискретного сообщения (ИДС). Иначе – источник непрерывного сообщения.

Мы будем использовать модель ИДС как наиболее часто рассматриваемую.

– это символы алфавита; – мощность алфавита. Появление символа алфавита в сообщении описывается дискретной вероятностной моделью.

Дискретный ансамбль – это полная совокупность состояний (символов алфавита) с вероятностью их появления:

,

где .

Понятно, что данная модель описывает лишь одиночный случайный символ сообщения.

Сообщение, порождаемое ИДС – это, в общем случае, последовательность случайных символов: . При этом полное вероятностное описание ИДС задается вероятностной моделью случайного временного ряда (случайного процесса) с дискретным временем N и дискретным пространством состояний : ,

где – n-мерное дискретное распределение вероятностей n-символьного сообщения.

ИДС является стационарным, если случайный процесс инвариантен относительно сдвига начала отсчета . Стационарный ИДС является источником без памяти, если порождаемые ИДС случайные символы независимы в совокупности и одинаковы распределены.