5.5. Основы теории информации

5.5.1. Информационные характеристики источника сообщений

Информацию для передачи, хранения, обработки или распространения необходимо представить в виде каких-либо символов (знаков) x_k,k [1, L]. Эти символы (знаки)x_kназываютсяэлементарными символами источника сообщений.

Множество различных элементарных символов источника сообщений (ИС) {x_k},k = [1, L], используемых источником информации (ИИ) для формирования сообщений, называетсяалфавитом источника сообщений, а мощность этого множестваL–объемом алфавита.

Упорядоченная совокупность элементарных символов x_k, отображающих информацию, образует сообщение {x}.

В теории информации в качестве характеристики информативнос­ти источника дискретных сообщений используют среднее по вероятности количество информа­ции, приходящееся на один символ алфавита ИС, т.е. математическое ожидание количества информа­ции, содержащегося в одном символе алфавита источника дискретных сообщений, Н(х), называемоеэнтропией источника дискретных сообщений.

Таким образом, энтропия - это среднее количество информа­ции, содержащееся в одном символе алфавита источника дискретных сообщений.

Энтропия достигает максимума Н_макс(х), если вероятности формирования всех символов алфавита источником дискретных сообщений одинаковы.

Степень отличия энтропии Н(х) от максимальной энтропииН_макс(х) характери­зуетизбыточность источника дискретных сообщений:

.

Наличие у источника дискретных сообщений избыточности (ρ_ис > 0) означает, что он выдает в среднем больше символов, чем это необходимо для передачи информации, увеличивая тем самым длину выдаваемого сообщения.

Важной характеристикой источника дискретных сообщений является его производительность, определяющая среднее количество информации, выдаваемое им в единицу времени:

где v_ис– скорость формирования символов источником дискретных сообщений (количество элементарных символов сообщения, формируемых источником дискретных сообщений в 1 с).

Наличие избыточности источника дискретных сообщений снижает его производительность, а это приводит к уменьшению скорости передачи информации за счет увеличения длины передаваемого сообщения.

5.5.2. Информационные характеристики канала связи

Классификация каналов связи

Проведем классификацию каналов связи по виду сообщений на входе {х} и выходе {y} канала. Если сообщения {х} и {y} дискретные, токанал связиназываетсядискретным, если {х} и {y} непрерывные –непрерывным. Если одно из сообщений {х} или {y} дискретное, а другое непрерывное, то канал связи называется соответственнодискретно-непрерывным или непрерывно-дискретным.

Дискретный канал связиможет быть симметричным и несимметричным. Симметричный, если все символы сообщения принимаются одинаково верно с вероятностью правильного приемаq, а если неверно, то они с одинаковой вероятностью ошибки переходят в любой изL – 1 остальных символов источника. В противном случае каналнесимметричный.

Количество информации, переданной по каналу

По каналу связи передается информация, выдаваемая источником сообщений. Ее количество определяется производительностью источника сообщений . Вследствие воздействия помех часть передаваемой информации «теряется» в канале, в результате чегоколичество информации, переданной по каналу, в общем случае меньшеколичества информации, передаваемого по каналу.

В теории информа­ции в качестве информацион­ной характеристики канала связи в целом используют среднее количество информации, переданное одним символом источника сообщений по каналу с помехами:

I(х,_,y) =H(х) –H(х|y),

где H(х) – энтропия источника со­общений;

H(х|y) – условная энтропия источника со­общений и канала связи.

Условная энтропия H(х|y) – это среднее количество информации, теряемое в канале при передаче одного символа сообщения.

Если известна скорость выдачи символов источником дискретных сообщений в единицу времени v_ис, то можно рассчитать количество информации, передаваемое по каналу в единицу времени:

= v_ис I(x, у).

Величина называетсяскоростью передачи дискретной информации по каналу с помехами.

Пропускная способность каналов связи

Пропускной способностью канала, рассчитанной на один входной символ, называется максимум среднего количества переданной информации, определенный на всем возможном множестве источников сообщений {ИС}:

C =[maxI(x,у)] [бит/симв].

Аналогичным образом определяется пропускная способность канала в единицу времени:

= [max] =v_ис[maxI(x,у)] = v_исC.

Рассмотрим симметричный двоичныйдискретный каналсвязи. Для него совместная вероятность передачи символах_kи приема символаy_nравна

Р(х_k, y_n) =

где p = (1 –q) – вероятность ошибки при приеме символа сообщения.

В этом случае пропускная способность каналаопределяется по формулам [4]:

C_бдк =;

(.

Пропускную способность непрерывного канала часто определяют по формуле Шеннона [2, 9]:

где Р_с– средняя мощность сигнала на входе приемника (приемной КОА, демодулятора);

Р_п– средняя мощность помехи на входе приемника (приемной КОА, демодулятора) в полосе частот ∆F;

Т.е. пропускная способность непрерывного канала зависит от отношения мощностей сигнал/помеха.

Формулу Шеннона можно использовать для инженерной оценки пропускной способности реального канала, хотя справедлива она только для идеализированного непрерывного канала передачи: принимаемый сигнал представляет собой сумму независимых полезного сигнала и шума, распределенных по нормальному закону с нулевыми математическими ожиданиями и имеющих равномерные спектральные плотности мощности в полосе частот Δf_c = ∆F, занимаемой сигналом.

Требование к пропускной способности канала выдвигает источник сообщений:

≥

Объем сигнала и канала связи

Найдем пропускную способность непрерывного канала, рассчитанную на один символ:

Тогда

,

где ∆F– полоса пропускания канала связи, согласованная с шириной спектра передаваемого по каналу сигнала;

Т – длительность символа источника непрерывных сообщений, равная интервалу между передаваемыми элементами непрерывного сообщения ∆t;

Н =log(1 +h²) – параметр, характеризующий энергетические свойства принимаемого сигнала, представляющего собой совокупность полезного сигнала и помех на входе приемника (приемной КОА) в полосе частот ∆F.

Если считать, что ∆F,ТиН являются коор­динатами в трехмерном пространстве, то величинаC_нкбудет равна объему параллелепипеда с длинойТ, шириной ∆Fи высотойН.

Характеристики канала связи ∆F,ТиН согласованы с характеристиками сигнала, переносящего заданное сообщение. ПоэтомуC_нкназываютобъемом сигналаи она опре­деляет максимальное среднее количество информации, которое мож­но передать по данному каналу с помощью одного символа сообщения.

Объем сигнала ∆FТН наглядно показывает, что среднее количество передаваемой информации не меняется при трансформации одних ко­ординат сигнала за счет других, т.е. одно и то же среднее количество информации можно передать по каналу, сохраняя постоянным объем сигнала, но формируя сигнал с различными значениями ∆F,ТиН.

В общем случае канал связи характеризуется аналогичными параметрами: шириной полосы пропускания канала ∆F_к, временем работы каналаТ_ки параметромН_к, характеризующим энергетические свойства канала, описываемые возможным значением отношения мощностей сигнал/помех на входе приемника (приемной КОА) в полосе частот ∆F_к. По аналогии с понятием «объем сигнала» введен обобщенный параметр канала, определяющий его пропускную способность и называемыйобъемом канала:

V_к= ∆F_кТ_кН_к,

т.е. объем канала определяет потенциально возможную пропускную способность канала связи.

Если выполняется условие

∆F≤ ∆F_к;NТ≤Т_к;Н≤Н_к,

(где N – длина сообщения), то сообщение может быть передано по каналу.

Если условие не полностью выполняется,но V_к  ≥NC_нк, то сообщение может быть передано по каналу, либо после трансформации параметров сигнала, переносящего сообщение, либо после изменения характеристик канала связи, т.е. после его модернизации.

Под трансформацией параметров сигнала понимается изменение спектральных, временных или (и) энергетических характеристик сигнала.

Если условие не выполняется или выполняется не полностью иV_к <NC_нк, то сообщение не может быть передано без модернизации канала.

Таким образом,сопоставление объема канала связи и объема сигнала позволяет оценить возможности канала связи по передаче информации и определить пути его модернизации.