11 Исследованние дискретных источников информации

Цель работы: Изучение основных понятий теории информации, информационных характеристик систем передачи сообщений и методов моделирования стационарных дискретных источников информации.

11.1 Подготовка к выполнению работы

Во время подготовки к выполнению работы нужно ознакомиться с теоретическим материалом по конспекту лекций, рекомендованной литературой и получить у преподавателя допуск и вариант задания на лабораторную работу.

Общие сведения из теории информации

Под информацией понимают совокупность сведений о каких-либо сообщениях, явлениях или предметах, которые получает потребитель. Академия Наук СССР рекомендовала следующее определение: информация - это сведения, являющиеся объектом хранения, передачи и преобразования. Информацию, представленную в форме, которая позволяет осуществлять ее преобразование с целью передачи, обработки и практического использования, называют сообщением. Всякое сообщение является совокупностью сведений о состоянии какой-либо материальной системы, которые передаются человеком (или устройством), наблюдающим эту систему, другому человеку, (или устройству), не имеющему возможностей получить эти сведения из непосредственных наблюдений. Наблюдаемая материальная система вместе с наблюдателем представляет собой источник информации (корреспондент), а человек или устройство, которому предназначаются результаты наблюдения - получатель информации (абонент). Источник информации может вырабатывать непрерывное или дискретное сообщения.

Любое преобразование сообщения путём установления между ними однозначного соответствия называют в широком смысле кодированием. Кодирование может включать в себя процессы преобразования и дискретизации непрерывных сообщений (аналого - цифровое преобразование), модуляцию (манипуляцию в цифровых системах связи) и непосредственно кодирование в узком смысле слова. Обратная операция называется декодированием.

Источник дискретных сообщений в общем случае характеризуется ансамблем X = {x₁, ..., x_i, ..., x_Ni} сообщений, представляющих собой конечное число символов x_i. Совокупность символов x₁,...,x_i,..., x_Ni называется алфавитом источника сообщений, а число различных символов N_i - является объёмом алфавита источника сообщений. Для полного описания источника сообщений необходимо задать вероятности появления символов P(x₁), ..., P(x_i), ..., P(x_Ni), причём их сумма равна 1. В частном случае символами алфавита источника могут быть буквы.

Кодер источника, который иногда может и отсутствовать, служит для представления сообщений в более удобной для передачи и компактной форме без потери информации. Кодер источника имеет свой алфавит G = {g_k}, k = 1, 2, ..., N_k, где N_k - объём алфавита кодера источника. Например, русские буквы алфавита источника могут в кодере источника перекодироваться в цифры десятичной системы счисления с символами (буквами) алфавита {0, 1, 2, ..., 9} с объёмом N_k = 10, или в двоичный код с алфавитом {0, 1} и, следовательно, с объёмом алфавита N_k = 2 (например первичный код МТК-2,). С помощью кодера источника возможно устранение избыточности источника сообщений путём применения эффективного статистического кодирования.

Кодер канала может иметь свой алфавит  = {_s}, s = 1, 2, ..., N_s. С помощью кодера канала может вводиться избыточность при применении корректирующих кодов, в целях повышения помехозащищённости системы связи. Таким образом, в процессе преобразования сообщения в сигнал операция кодирования позволяет в итоге уменьшить влияние различных помех и искажений на передачу сообщений.

Итак, в процессе кодирования сообщений могут выполняться следующие операции:

- преобразование сообщений из одной формы в другую, например, непрерывных в дискретные (натуральное, первичное кодирование);

- устранение естественной избыточности источника сообщений (эффективное или статистическое кодирование);

- введение специально рассчитанной искусственной избыточности в сообщение (помехоустойчивое кодирование).

Соответствующие кодеры можно построить либо для каждой из указанных выше операций отдельно, либо объединить их в единое устройство.