3.1.3.3 Скорость передачи информации

Применительно к каналу условные энтропии выглядят мерой искажений сообщений, мерой уровня помех, которые имеются в канале. Для большей убедительности этого вывода обратимся к условной схеме (см. рисунок) канала, через который проходит информация. Предварительно умножим соотношение I (ji) = Н(j) – Н_i(j) = Н(i) – Н _j(i) = I (ji) на скорость формирования сообщения, на величину v_x, которая равна количеству символов, пополняющих сообщение в каждую единицу времени. Полученное соотношение

v_x Н(i) – v_x Н _j(i) = v_x I(ji) = v_xН(j) – v_xН_i(j) (III. 10)

отобразим графическии рассмотрим смысл образующих это соотношение математических величин.

Канал

v_xН(i) v_xI(ji) v_xН(j)

v_xН_i(j) v_xН _j(i)

v_xН(j) – информационная производительность источника, полное количество информации, которое, например, каждую минуту (или секунду) подаётся в канал;

v_xН_i(j)– часть информации, которая не дойдёт до выхода канала потому, что определённая доля символов из числа v_x к данному каналу не приспособлена, v_xН_i(j), следовательно, – это скорость потери информации в канале, например, по причине «дефицита алфавита» (диктор выговаривает некоторые буквы);

v_xI(j,i) – скорость прохождения информации по каналу;

v_xН _j(i) – скорость появления ложных символов (под диктором в радиостудии скрипит стул) в репертуаре входа;

v_xН(j)– скорость появления на выходе канала прошедшей части

входных и всех ложных символов – темп (скорость) исполнения выходного репертуара.

Все входящие в соотношение

v_xН(i) – v_xН_j(i) = v_xI(ji) = v_xI(ij) = v_xН(j) – v_xН_i(j) величины интерпретируются достаточно правдоподобно. Следовательно, соотношение в целом можно рассматривать в качестве математической модели дискретного канала с помехами.

В этом качестве и рассмотрим это соотношение более внимательно и подробнее.

Вначале заметим, что v_x – это количество кодовых символов, пополняющих сообщение в единицу времени. Это – скорость реального источника – темп его существования, величина, под которую вынужденно выбирают оптимальный код.

Применительно к конкретному каналу v_x – это предельная скорость следования символов технического кода, которую допускает этот канал и которая определяется его полосой пропускания ΔF . Именно на этот параметр ориентируются, когда оценивают возможность передачи информации от определённого источника по выбираемому для этого каналу, когда выбирают канал по его пропускной способности.

3.1.4 Пропускная способность дискретного канала.

Пропускной способностью канала называют максимум обсуждаемого здесь выражения, который ищут на множестве возможных распределений вероятностей сигналов, используемых в данном канале.

Обозначим этот параметр С = [v_x I(ji)] (III. 11)

Поскольку v_i v_x однозначно определяется полосой пропускания канала ΔF – величиной изначально присущей данному каналу и от характеристик (вероятностей распределения амплитуд) сигнала не зависящей, запишем это по-другому:C = v_x [Н(j) –Н_i(j)] , а рассматривать далее будем только то , что в скобках: Н(j) – Н_i(j) = Н(i) – Н_j (i). Подчеркнём при этом, что Н_i(j) = Н_j(i) тоже определяются (обуславливаются) свойствами канала, его способностью не искажать (когда Н_i(j) = Н_j(x) = 0) или искажать в определённой мере (когда Н_i(j)= Н_j(i) > 0) проходящие через канал символы (сигналы, ибо в нём и символы существуют в форме сигналов).

Приведённое выше соотношение говорит о том, что максимальную пропускную способность канала обеспечивает максимум разности

[Н(j) –Н_i(j)] и добиваться его можно двумя путями: – увеличивая Н(j) и

–уменьшая Н_i(j).

Как это делается, рассмотрим на конкретном примере. Рассматривать будем дискретный канал, по которому неким кодом из N символов (разумеется, p_i =1) передаются сообщения. С одинаковой вероятностью Р каждый из x_i поданных на вход канала символовна выходе канала искажается, а с вероятностью (1–Р) проходит канал без искажения. При этом, искажаясь на выходе, он с равной вероятностью может быть воспринят, как любой другой символ у_j этого алфавита (кода). Следовательно, искажающая способность нашего канала характеризуется набором {p_j⁽ⁱ⁾} из N условных вероятностей, каждая из которых равна (1–Р) при i=j (и – в противном случае).

Легко можно убедиться, что p_j⁽ⁱ⁾ =1.

Действительно, 1 – Р + [N –1][] =1– P+P = 1

Таким образом, мы имеем возможность вычислить условную энтропию

Н_i(j)= –p_i p_i⁽ⁱ⁾log p_j⁽ⁱ⁾

Н_i(j)= –p_i [(1-Р)log(1- Р) + log ] =

= - [(1-Р)log(1- Р) p_i + log p_i].

Учитывая, что 1=N -1 и p_i = 1, в итоге имеем:

Н_i(j)=– [(1-Р)log(1-Р) +Рlog] .

Являющаяся объектом нашего внимания разность от параметров сигнала не зависит и принимает вид:

Н(j) – Н_i (j) = Н(j)+(1-Р)log(1-Р) +Рlog.

Это лишний раз подтверждает, что условная энтропия Н_i(j) в применении кописанию работы дискретного канала характеризует только канал и является формой количественного учёта влияния помех на передаваемые по нему сигналы. Для нашего дальнейшего анализа означает, что от вида распределения p(x), на множестве которых (на множестве различных распределений в рамках используемого алфавита) мы ищем максимум разности, величина

(1-Р)log(1-Р) +Р(1-Р)log(1-Р) +Рlog)

не зависит, и нам остаётся максимизироватьН(j).

Энтропия ансамбля символов на входе канала, как и любая энтропия, определяется распределением вероятностей – здесь распределением p(y) таким, что p_j = 1. Об этом распределении мы пока ничего не знаем, но = p_i. Используя это соотношение, получаем:

p_j == p_i p_j ⁽ⁱ⁾= p_j ⁽ⁱ⁾

(здесь мы записали p_i = потому, что знаем: так должно быть в оптимальном коде).

Учитывая, что p_j = 1, получаем: p_j =.

Такой результат рассмотрения нашего примера означает, что максимальная пропускная способность и в каналах с помехами достигается при оптимальном кодировании канала. Обеспечивая максимальную наполненность информацией каждого символа, оно (оптимальное кодирование) одновременно гарантирует в среднем одинаковую вероятность появления символов в принимаемом сообщении, чем и обеспечивает и максимальную пропускную способность канала с помехами, но никакого влияния на вероятность ошибок не оказывает.

Окончательно имеем:

C = v_x [Н(j) –Н_i(j)] или

C = v_x[logN+(1-Р)log(1-Р) +Рlog] (III. 12)

Это – основа окончательной математической модели дискретного канала с помехами, которая показывает, что пропускная способность дискретного канала определяется:

3. допустимой в нём скоростью следования несущих информацию элементарных (дискретных) сигналов-символов;

4. объёмом алфавита, из которого эти символы взяты и

5. полным набором (матрицей, размерностью NxN) вероятностей Pij –м вероятностей превращения (в результате сбоя ) i-^го символа в j -^ый.

Только что упомянутая матрица – обязательное дополнение к приведённой выше основе окончательной математической модели дискретного канала с помехами – к выражению для оценки пропускной способности такого канала. Как и откуда берётся это дополнение, мы рассмотрим ниже.

Для наглядного восприятия полученного выше результата предположим, что N = 2. Это означаем, что мы рассматриваем бинарный канал, в котором имеет место одинаковая для обоих символов вероятность быть ошибочно воспринятым на выходе (вероятность «сбоев»): единица воспринимается, как ноль и наоборот. Канал такого типа называется симметричным бинарным каналом. Для него

C = v_x[Н(j)+(1-Р)log(1-Р) + Рlog] = v_x[log2+(1-Р)log(1-Р) + РlogР].

При появлении и небольшом росте вероятности сбоев, пропускная способность C/v_xканала снижается и оказывается точно равной нулю при вероятностиР=50%

Результаты вычислений по этой формуле в виде зависимости относительной пропускной способности (C/v_x) симметричного бинарного канала от вероятности Р приведены на рисунке слева. Эти результаты подчёркивает простой и понятный факт:

C/v_x при p_j ⁽ⁱ⁾= информации по каналу не

передаётся, ибо неопределённость си-

туации передачей по каналу символа не

снимается (возможных исходов ситуа-

ции, как было два до приёма символа,

так и осталось два после приёма).

Р Если кому-то факт возрастания пропускной способности симметричного бинарного канала с увеличением вероятности ошибки покажется парадоксальным (она выглядит максимальной при Р=100% ), то это совсем не так. Такой математический результат говорит о том, что канал с гарантированным инвертированием символов (0 обязательно превращается в 1, и 1 – в 0) построить так же трудно, как и какал с гарантированным сохранением символа. Это будет идеальный канал – канал без помех и сбоев, работающий на приём в дополнительном коде.

В заключение раздела уместно поговорить о физических истоках и более подробном математическом представлении вероятностей P_ij, образующих упомянутую выше матрицу, которая описывает свойство реального канала – искажать символы.

Мы сделаем это снова в рамках частного примера, в котором по электрическому каналу передаются дискретные сигналы, полученное из естественного непрерывного сигнала, путём его одновременной дискретизации по времени и по уровню. По каналу, следовательно, передаётся дискретная случайная последовательность равномерно расставленных во времени электрических импульсов, высота (амплитуда напряжения) u_k которых – квантованные значения первичного сигнала в соответствующие моменты времени.

Предположим, что при актуализации формировалось N уровней (нулевой и по [N– 1]:2 уровней выше и ниже нулевого). Следовательно, в составе последовательности следует ожидать появления импульсов с N отличающимися друг от друга амплитудами.

Если разделяющую соседние уровни разницу напряжений (величину кванта напряжения) обозначить символом , то это будут такие амплитуды:

3. отрицательные: –(N–1):2, – [(N– 1):2] –1,

–[(N–1):2]–2, –[(N–1):2]–3,……., –3,–2,–,

3. 0, и

4. положительные:

5. +,+2,+,…, +[(N–1):2]–3,+[(N–1):2]–2, +[(N-1):2] –1,+(N–1):2.

Этот набор возможных значений амплитуд и есть алфавит с объёмом N, которым в этом канале «пишется» сообщение. Пропускная способность такого канала, без учёта сбоев, может быть представлена соотношением:

C = v_xlogN.

Для выяснения других подробностей, вычислим вначале среднюю мощность (Р_с) проходящего по каналу сигнала.

Сообщение будет состоять из импульсов с различными амплитудами, все значения которых будут принадлежать представленному выше алфавиту с объёмом N, составленному из электрических импульсов. При случайном характере последовательности она (средняя мощность) считается, как математическое ожидание (m{u_k²}) квадратичного значения сигнала u_k².

При представленных выше длинным рядом (от – (N–1):2 до + (N–1):2) значениях амплитуд сигнала и известных одинаковых (равных 1/N) вероятностях символов алфавита в составе сообщения, соотношение (Р_с = m{u_k²}) для вычисления мощности (в соответствии с правилом нахождения математического ожидания) будет выглядеть:

m{u_k²} = u_k²x P_k(u_k). Осуществляя соответствующие подстановки (P_k(u_k) =и т.п.), получаем:

Р_с= u_k²x P_k(u_k) =Δ_k²xk²=Δ_k²xk²(при k=0, u_k = 0)

Сумма в этом выражении – хорошо известный ряд квадратов натуральных чисел, сумма которого кратко выражается соотношением:

= [k (k+1)(2k+1)]:6. При подстановке k = [N–1]:2, это даёт:

= [k (k+1)(2k+1)]:6 = N[N²–1]:24 . В итоге имеем:

Р_с =Δ_k²xk² =Δ_k²x N [N²–1]:24 =Δ_k²x[N²–1] .

Из этого соотношения мы можем выразить N, чтобы подставить его в формулу пропускной способности того канала, который мы рассматриваем в нашем примере. Очевидно, что легче выражается не N, а N² = 1+12 Р_с/Δ_k² .

Выше мы записали C = v_xlogN, что тождественно C =v_xlogN², куда N ² =1 +12 Р_с/Δ_k² вставляется непосредственно.

Получаем C =v_xlog(1+12 Р_с/Δ_k² ) (III. 13)

Из этого соотношения видно, что с уменьшением размеров квантов Δ пропускная способность канала растёт. Очевидно, что реально такому росту пропускной способности, рано или поздно начнёт препятствовать шум, который в реальном канале обязательно присутствует. Ниже мы рассмотрим механизм такого «препятствования» и попытаемся описать его математически, предварительно отобразив его наглядными диаграммами. Мы сделаем это снова в рамках частного примера, в котором по электрическому каналу передаются дискретные сигналы, полученные из естественного непрерывного сигнала.

Пусть Х(t) – первичный сигнал, который в процессе актуализации подвергается квантованию и временной дискретизации одновременно. Ниже на диаграмме, которая изображает определённый момент процесса актуализации, это сигнал показан толстой вертикальной стрелкой, а его величина превысила k-^ый уровень ровно на половину размера кванта с номером k.

Пусть u_k = Δхk – амплитуды (показаны тонкими стрелками) получающихся импульсов напряжения, где Δ размер кванта, а k – номер уровня, которого достиг сигнал в момент его актуализации, при котором сработало выполняющее её (актуализацию) устройство. В ходе актуализации непрерывный сигнал превращается в последовательность таких импульсов.

Пусть х_ш(t)= z(t) – функция, отображающая шум. На рисунке он показан в виде короткой, очень толстой наклонённой (потому, что не в фазе с сигналом) стрелой на диаграмме сложения векторов слева и извилистой ломанной линией – на временном графике справа). В нашем канале функция z(t) имеет собственное (показанное около вертикальной оси справа) распределение вероятностей p(z), удовлетворяющее условию нормировки вероятностей

Δх(k+1) p(z)

Уровень № k+1 х_ш(t)

Серединный уровень z(t) t

Δ – размер кванта

Уровень № k Δхk

Δх(k-1)

Х(t)

p(z)dz =1. Середины какого бы квантового уровня не достиг актуализируемый сигнал Х(t) в момент выработки дискретного импульса, его амплитуду будет определять сумма актуализируемого сигнала и шума.

Ситуация, показанная на диаграмме, из-за случайности амплитуды и фазы шумового вектора, позволяет ожидать трёх исходов, каждый из которых показан на диаграмме тонкими вертикальными стрелками. Размеры стрелки символизируют амплитуду очередного дискретного импульса.

Три вектора – это три возможных исхода отображённого на диаграмме единичного акта – акта выработки устройством очередного импульса дискретной последовательности. На самом деле будет выработан один импульс. Если сумма исходного сигнала и шума не превысит уровня k+1, то очередной импульс будет иметь амплитуду u_k = Δхk, а если превысит то u_k+1 = Δх(k+1).

А если шум «отбросит» суммарную амплитуду назад – ниже уровня k, то в последовательности появится импульс с амплитудой u_k-1 = Δх(k-1).

Из трёх этих вариантов только второй – правильный.

Такова физика появления ошибок.

Теперь о математике. Конкретнее – о вероятности появления ошибок и о поведении этой вероятности.

Начнём с условия нормировки вероятностей для амплитуд шума, которое записано выше непосредственно перед диаграммой. Оно говорит о том, что сумма вероятностей (она равна площади между кривой распределения и вертикальной осью на диаграмме справа) появления всех амплитуд шумового сигнала равна единице.

При показанном на диаграмме соотношении между размерами кванта (от – до + ) и возможными амплитудами шума (это соотношение видно по «протянутым» пунктиром до графика шумов верхнему и нижнему уровням квантования), к появлению ошибок приводит та часть очень больших амплитуд шума, которые пересекают эти уровни. Мерой вероятности появления таких ошибок Р_ош служит (это хорошо видно из диаграммы) та (малая на данной диаграмме) доля общей площади под кривой распределения, которая оказалась выше и ниже уровней квантования. Её легко вычислить.

Вероятность ошибок Р_ош = p(z)dz +p(z)dz =2p(z)dz.

После подстановки в это соотношение характерного для шума нормального распределения

(p(x)=[1/(2π _ш²)] exp[– х²/_ш²], здесь _ш² = р_ш = р_z – мощность шумов) оно приобретает вид широко известного интеграла ошибок, который обычным способом не берётся, но многократно вычислен.

Для результатов этих вычислений придумано специальное название. Это – хорошо известная и давно табулированная функция ошибок

р_ош = erf(К), аргумент которой К=, как это и было видно на нашей диаграмме, определяет долю (процент) ошибок в канале и зависит от соотношения размеров кванта и амплитуд шума. Например, при К = 10 доля ошибок в рассмотренном нами канала не превыситр_ош = 10^-6. По современным стандартам, принятым, например, в Интернете, это – очень большая доля ошибок.

Возвращаясь к основному предмету нашего рассмотрения в этом примере – к пропускной способности дискретного канала, которая математически в самом начале выражалась не учитывающим влияние помех соотношением C =v_xlog(1+12 Р_с/Δ_k² ), мы можем теперь эти помехи учесть.

Выше мы записали К = , следовательно, мы можем ввести помехи непосредственно в предыдущее соотношение.

Действительно, = К, откудаΔ_k²= К² р_ш.

Таким образом, C =v_xlog(1+12 Р_с /Δ_k²) = v_xlog(1+12Р_с/К²р_ш ).

Можно и иначе: C_Д =v_xlog(1+_Д Р_с /р_ш ) (III. 14)

Здесь нижний индекс Д – символ дискретности канала.

Из этого последнего соотношения следует, что на самом деле пропускная способность дискретного канала зависит не от размеров квантов, а от соотношения уровней сигнала и помехи. Что касается появившегося здесь коэффициента _Д=12/К², то это – всё, что в этой формуле ещё говорит о характере (дискретности) канала. Подробнее об этом мы поговорим позже, а сейчас отметим, что в нашем частном примере, когда последовательность формировалась из непрерывного сигнала путём одновременной дискретизации по времени и по амплитуде, этот коэффициент был равен 12/К² . При других способах дискретизации следует ожидать других соотношений между определяющими качество связи показателямии К².

3.1.5 Помехоустойчивое кодирование

Мириться с вызванным шумами уменьшением пропускной способности канала проектирующие каналы связи инженеры вынуждены в силу объективности явления. Но решать свою основную задачу (обеспечивать качественную связь) они обязаны и делают это. Делают особенно успешно в последние десятилетия. Возможность успешно решать эту задачу - возможность передачи информации по каналу с шумами со сколь угодно малой долей ошибок, строго математически доказал К. Шеннон, положив тем самым, начало теории помехоустойчивого кодирования, которая стала важной составной частью общей теории связи. Эта теория послужила основой разработки огромного количества самых разнообразных помехоустойчивых кодов, а также - кодов, обнаруживающих и исправляющих ошибки.

У нас нет возможности подробно изучить ни коды, ни технические устройства, которые их реализуют. Мы ограничимся лишь беглым знакомством с идеей, которая лежит в основе всего этого, с содержанием и смыслом теоремы Шеннона о помехоустойчивом кодировании и с некоторыми относящимися к этой области знаний специальными понятиями. Подчеркнём, при этом, что обнаружение и, особенно, методология и техника исправления ошибок, возникающих в реальных каналах связи, опираются на основные понятия и принципы теории информации, с которыми мы познакомились в части первой нашего курса. В первую очередь это понятия ансамбля, энтропии, избыточности.