Специальные главы информатики и вычислительной техники. Учебник

На рис.  1.14 приведены статистическая функция прибора a = j(x) и функция плотности распределения погрешностей f(x), в данном случае равновероятная плотность распределения, т.е. совмещены функция прибора и функция погрешностей измерения этим же прибором.

Рис.  1.14. Статистическая характеристика прибора и функция плотности распределения погрешностей измерения

Неопределенность H(X/Y) осталась после проведения измерения, и она равна дифференцируемой энтропии для плотности распределения:

В этом случае

= −21D log 21D D−(−D) = −21D log 21D2D = −log 21D =log2D.

Это выражение является оценочным по неопределенности погрешности измерения, если погрешность имеет равновероятный знак.

1.7.7.  Выбор и согласование элементов информационной цепи на основе энтропийной меры

Помимо согласования динамических характеристик элементов, принятого в теории автоматического управления, важно согласовать и их информационные характеристики. Если исходить из возможности проведения наилучшего кодирования, то согласование целесообразно осуществлять по величине пропускной способности элементов. Как правило, цепь рассчитывается на пропуск определенного количества информации. Если пропускная способность прибора или датчика первичной информации как первого элемента цепи значительно меньше, чем пропускная способность всех других элементов цепи, то считается, что схема цепи построена нерационально.

Необходимо, чтобы все элементы цепи соответствовали друг другу по пропускной способности. При отсутствии корреляции между элементами пропускная способность информационной цепи С равна сумме пропускных способностей отдельных элементов Cj:

гдеPic и Piп – мощности сигнала и помехи для i-го элемента информационной цепи.

Если предыдущий элемент цепи рассматривать как источник информации для последующего элемента, например датчик можно считать источником информации по отношению к присоединенному к его выходу усилителю, то для согласования датчика с усилителем надо исходить из того, что источник информации создает определенное количество информации, которое должен пропустить усилитель.

Количество информации, содержащееся в одном дискретном элементе сообщения, равно энтропии:

i=1

При известных параметрах сигнала от источника из (1.30) можно найти один из трех параметров рассматриваемого элемента цепочки, задаваясь двумя другими. Например, полоса пропускания элемента:

При практическом применении (1.31) надо иметь в виду, что равенство относится к случаю использования идеальной пропускной способности, в то время как действительная пропускная способность элемента при реальном коде, например время-импульсной или кодо-импульсной модуляциях, будет несколько ниже. Формулу (1.31) следует интерпретировать как предельное соотношение.

1.7.8.  Информационная трактовка помехоустойчивости сообщений

С целью повышения помехоустойчивости сообщений при больших уровнях помех (помеха значительно превосходит сигнал) применяются специальные коды, устойчивые к определенным видам помех, и корректирующие коды.

Сущность помехоустойчивости специальных кодов сводится к тому, что при их использовании информация в сигнале содержится в виде сочетания определенных символов, например двоичного кода. Воздействие на сигнал помехи, изменяющей амплитуду сигнала, не изменяет сочетания символов до того уровня помех, пока их величина не будет в состоянии преобразовывать один знак в другой, например посылку тока в паузу. В этом и заключается помехоустойчивость кодо-импульсной модуляции, при которой передача информации осуществляется за счет определенного сочетания импульсов, или в случае время-импульсной модуляции, когда передача информации

ведется за счет определенной длительности интервалов между импульсами.

Идея создания корректирующих кодов состоит в том, что строятся такие коды, которые позволяют обнаружить ошибку, определяемую помехами, с тем чтобы произвести ее исправление. В качестве примера возьмем упрощенный корректирующий код.

Рассмотрим двоичный пятизначный код. Требуется передать кодовые слова 10011 и 01010. К пяти знакам в данных кодовых словах добавим шестой знак так, чтобы число единиц в кодовом слове всегда оставалось четным. В этом случае первое и второе кодовые слова примут вид 100111 и 010100. Здесь к первому слову добавляется единица, а ко второму – ноль. В обоих случаях в новых кодовых словах число единиц четное. Наличие однократный помехи нарушит четность и будет замечено. Увеличение помехоустойчивости в данном примере достигается за счет увеличения длительности сигнала.

Можно выявить потенциальные возможности кодирующих устройств как преобразователей информации, если в качестве их оценки взять отношение полезный сигнал/шум. Это можно сделать, если воспользоваться формулой для пропускной способности системы, которая утверждает, что существует такой способ кодирования, который со сколь угодно малой вероятностью появления ошибки обеспечивает скорость передачи информации, равную С.

Предположим, на вход кодирующего устройства поступает полезный сигнал, имеющий среднюю мощность Pс.вх и ширину спектра fс.вх, а также шум, средняя мощность которого в той же полосе частот равна Pп.вх. Полагаем, что задачей декодирующего устройства является такое преобразование входного воздействия, которое обеспечивает на выходе максимально возможное значение Pс.вых/Pп.вых. Также предполагаем, что декодирующее устройство работает без потери информации. Поэтому скорости передачи информации на входе и на выходе будут одинаковыми, т.е. Cвх = Cвых, или

Преобразуем это выражение, разделив обе части на fс.вых, тогда

Формулы (1.32) и (1.33) определяют наибольшее значение выигрыша Pс/Pп, которое можно получить за счет кодирования

иразделения сигнала и помехи. Если сопоставить различные виды модуляций (время-, кодо-импульсные, дельта-модуляции

ипр.) по критерию Pс/Pп то увидим, что они на один-два порядка хуже предельного случая, определяемого формулой (1.32).

Пример

По каналу передаются двоичные сигналы (m = 2) со ско­ ростью Vx. Алфавит сигналов состоит из символов: X = (x1,x2). Помехи таковы, что в каждой тройке передаваемых символов может исказиться не более одного символа (x1 переходит в x2,

инаоборот), причем вероятность искажения каждой тройки

ивероятность приема неискаженной тройки равны между собой. Требуется определить пропускную способность канала:

C =Vx max{J(Y,X)}.

Решение. Полагаем, что Vx известна. Тогда надо найти maxJ(Y,X). Среднее количество информации, переносимое сигналом x:

J (Y,X)= H(X)−H(Y / X).

Задача сводится к определению H(Y), H(Y/X) и максимизации их разности.

Рассмотрим новый алфавит X′, содержащий все возможные группы из трех символов. Общее число таких групп равно m3 = 23 = 8:

x1′ = x1x1x1; x2′ = x1x1x2; x3′ = x1x2x1; x4′ = x2x1x1; x5′ = x1x2x2; x6′ = x2x1x2; x7′ = x2x2x1; x8′ = x2x2x2.

Каждой из этих групп поставили в соответствие новый символ xj′. Получили алфавит X′ = x1′, x2′, …, x8′.Аналогично вместо алфавита Y принятых символов будем рассматривать алфавит Y′, символы которого сопоставляются всем возможным тройкам принятых сигналов y. Этот алфавит содержит m3 = 8 символов: Y′ = y1′, y2′, …, y8′. Среднее количество информации J(Y′,X′), переносимое одним символом x′, в 3 раза больше среднего количества информации J(Y,X), переносимого символом x, так как каждый сигнал x′ состоит из трех символов x. Но скорость Vx′ передачи по каналу символов x′ в 3 раза меньше скорости Vx, поскольку передавать три символа труднее, чем один с одинаковой скоростью. Тогда пропускную способность канала можно рассчитать следующим образом:

C =Vx′ max{J(Y′,X′)},

где J(Y′,X′) = H(Y′) – H(Y′/X′).

По условию каждый переданный символ xj′ может превратиться в один из четырех возможных символов yj′, причем вероят-

Например, x1′ может превратиться в результате искажений помехой в y2′, y3′, y4′или остаться неискаженным y1′, т.е.

x1′ =x1x1x1 →y1′ = x1x1x1 → y2′ = x1x1x2 → y3′ = x1x2x1 → y4′ = x2x1x1.

Следовательно:

max{J(Y′,X′)}=loga 8 −loga 4 =loga 2.

Пропускная способность канала равна

C = Vx′ loga 2 = V3x loga 2.

При отсутствии помех

H XY′′ =0,

тогда

max{J(Y′,X′)}= Hm (Y′)=3loga 2.

При этом

V

C = 3x 3loga 2 = Vx loga 2.

Таким образом, наличие помех данного типа снижает пропускную способность в 3 раза. Предположим, что источник информации создает сообщения из символов алфавита Z = (z1, z2, …, zn) и энтропия источника равна H(Z) Согласно основной теореме Шеннона символы z1, …, zn можно передавать со скоростью, сколь угодно близкой к

C Vx loga 2

Vzm = H(Z) = 3H(Z) ,

и сколь угодно малой вероятностью ошибки в условиях помех. Для этого сообщения должны быть закодированы. Пусть теперь помехи в канале отсутствуют. Тогда, проводя кодирование достаточно длинных блоков по Шеннону, можно достичь скорости, сколь угодно близкой к пределу: