3.1.5.1 Вторая теорема Шеннона о кодировании.

Эта теорема называется второй потому, что в ней речь идёт о втором на пути информации от источника к потребителю, вынужденном по соображениям экономики и качества связи и не имеющем отношения к физической форме её представления кодировании. Информация на только что упомянутом пути кодируется многократно. То сигнал нужно дискретизировать, то преобразовать из звуковой формы в электрическую, то сообщение нужно перевести на другой язык, то записать сообщение на диск. Все эти кодирования – технические процедуры, теорией информации контролируемые, но не диктуемые.

Статистическое кодирование источника, предписываемое первой теоремой Шеннона, вытекает из требований теории информации и избавляет сообщение от избыточной информации, чем делает его передачу менее затратной. Поэтому оно имеет второе название – оптимальное кодирование.

Необходимость помехоустойчивого кодирования диктуется, как было показано выше, неизбежной необходимостью, всецело опирается та основные положения теории информации, которые и содержаться в формулировке (и в доказательстве) второй теоремы Шеннона.

Если имеется источник информации с энтропией Н(i), и канал с заданным уровнем ошибок и с пропускной способностью С > Н(i), то обязательно найдётся код, представленные в котором сообщения от этого источника могут быть полностью переданы по этому каналу со средней скоростью, как угодно близкой к энтропии источника и со сколь угодно малой долей ошибок.

Так звучит эта теорема.

У нас, как и в случае с первой теоремой, нет возможности изложить строгое её доказательство. Поэтому, как и в прошлый раз, мы будем демонстрировать её справедливость на частном примере, из которого и основополагающая идея Шеннона будет вытекать с очевидностью.

Пример.

Представим себе источник с энтропией Н(i) и канал по которому можно передавать единичные символы со скоростью v_х. Пропускная способность такого канала по определению C = (v_х)maxI(ij). По этому каналу от источника идут сообщения, в двоичном коде, состоящим из символов x₁ и x₂. Проходя канал, эти символы иногда искажаются – каждый из них с определённой вероятностью может превратиться в своего антипода. Количественно это характеризуется следующими цифрами: в среднем каждая тройка символов либо проходит канал в полной неприкосновенности, либо с обязательным искажением только одного символа. Для оценки пропускной способности этого канала произведём мысленно перекодирование передаваемых по нему сообщений. Для этого введём новые символы ǻ_i и ů_j.

Входной алфавит. Выходной алфавит

ǻ₁=x₁x₁x₁; ǻ₅= x₂x₁x_1; ů₁= y₁y₁y₁; ů₅= y₂y₁y_1;

ǻ₂=x₁x₁x_2; ǻ₆= x₂x₁x₂; ů₂= y₁y₁y_2; ů₆= y₂y₁y₂;

ǻ₃=x₁x₂x_1; ǻ₇= x₂x₂x₁; ů₃= y₁y₂y_1; ů₇= y₂y₂y₁;

ǻ₄=x₁x₂x₂; ǻ₈= x₂x₂x₂; ů₄= y₁y₂y₂; ů₈= y₂y₂y₂.

Здесь выходной алфавит ǻ (как и входной ů) содержит 8 символов (объём алфавита N = 8). Скорость передачи более длинных новых символов (v _ǻ = (v_х)/3) в три раза меньше, чем исходных. При этом количество информации в каждом новом символе в три раза больше, чем в исходном символе типа x_i (I(v_ǻ) =3I(v_х)).

Пропускная способность канала, которая при перекодировании не изменяется, теперь может быть подсчитана по формуле:

C = (v_ǻ)max[I(ij)] = (v_ǻ) max[I(ǻ ů)] = (v_ǻ)max[H(ů) – H _ǻ (ů)].

При этом, очевидно, что для получения максимальной пропускной способности следует положить H(ů) = H_max(ů) = LogN = Log8 = 3Log2.

Теперь попытаемся выразить и подсчитать условную энтропию H _ǻ (ů), которая, как мы знаем, описывает влияния имеющихся в канале помех на его пропускную способность. В нашем канале каждый символ типа ǻ_i имеет возможность дойти до приёмного конца канала без искажений и быть воспринятым, как ů_i, или с равной вероятностью превратиться в один из трёх символов типа ů_j. Например, у символа ǻ₂=x₁x₁x₂ такие возможности:

при отсутствии сбоя стать символом ů₂ = y₁y₁y_2;

при сбое первого старого символа – ů₆ = y₂y₁y_2;

при сбое второго старого символа – ů₄ = y₁y₂y₂

при сбое третьего старого символа – ů₁ = y₁y₁y₁ – всего по четыре варианта «судьбы».

Каждый такой вариант может реализоваться с одинаковой вероятностью, равной ¼. Таким образом, в каждой строке квадратной (8х8) матрицы, элементами которой являются вероятности превращения символа ǻ_i (после прохождения канала) в символ ů_j, будут стоять четыре вероятности, равные ¼, и четыре нулевые вероятности.

Действуя в соответствии с правилами нахождения условной энтропии H_ǻ (ů), запишем взвешенную вероятностями Р(ů_j) сумму (по столбцам) сумм в строках:

H_ǻ (ů) = – { ΣР(ů_j)[(¼)log(¼) + (¼)log(¼) + (¼)log(¼) + (¼)log(¼)

+ 0 + 0 + 0 + 0]}=

= – Σ Р(ů_j)[4х(¼)log(¼)] = – [log(¼)]Σ Р(ů_j) = – [log(¼)] = log4 = 2log2.

Возвращаясь к соотношению C = (v_ǻ)max[H(ů) – H_ǻ (ů)] и учитывая полученные выше результаты вычислений H(ů) и H_ǻ (ů), имеем:

C = (v_х)/3)[3log2 – 2log2] = (v_х)/3)log2

Это и есть пропускная способность рассматриваемого нами канала с помехами, которая в отсутствии помех могла бы быть C₀ =3(v_х) log2, т. е. – в три раза выше.

Помехи, действие которых на символы первичного алфавита (символы x_i) были описаны в самом начале, уменьшают пропускную способность канала в три раза.

Возвратимся на некоторое время к первой теореме Шеннона о кодировании источников. Просто вспомним, что,

если есть источник информации с энтропией Н(i) и имеется канал с пропускной способностью С > Н(i), то обязательно найдётся код, представленные в котором сообщения от этого источника могут быть полностью переданы по этому каналу со скоростью, как угодно близкой к энтропии источника.

Заметим, что здесь говориться о скорости, которая может быть увеличена и что пределом такого увеличении сверху является скорость, асимптотически приближающаяся к значению, равному энтропии источника. Это означает, что при меньшей скорости передача всей «генерируемой» источником информации с энтропией Н(i) – тем более возможна. Возможна она, в частности, - со скоростью в три раза меньшей.

Руководствуясь этими соображениями, при подготовке сообщений для передачи по только что рассмотренному каналу с помехами вначале целесообразно подобрать (по рекомендациям первой теоремы Шеннона) оптимальный двоичный код q_i, который позволит «перегонять» по нашему каналу всю информацию со скоростью (v _х)/3. При этом, очевидно, что символы q_i будут следовать через канал втрое реже, чем это в нём возможно. Канал будет загружен на одну треть.

На втором этапе подготовки сообщений в его состав к каждому двоичному символу q _i оптимального кода дополнительно приписываются два символа q₂ и q₃, которые выбираются для каждого символа q _i индивидуально и по правилу: q _i + q₂ = 0 и q _i + q₃ = 0 (сложение по модулю или проверка на чётность – называйте, как угодно). Можно просто троекратно передавать каждый символ q _i.

При таких добавлениях канал будет использоваться на «всю пропускную способность», а характерные для данного канала сбои в каждой тройке символов типа q_{i +} q₁ и q₂ (или три q_i) можно будет обнаружить и исправить.

Данный пример показал, что при добавлении в состав сообщения определённого количества «избыточных» символов вся информация от источника с энтропией Н(i) < С, будет передаваться по каналу с помехами без искажений и со скоростью близкой к энтропии источника.

Разобранный выше частный случай продемонстрировал способ формирования помехоустойчивого кода и, тем самым, показал справедливость второй теоремы Шеннона о кодировании. Уже из одного этого примера ясно, что основная идея помехоустойчивого кодирования заключается не столько во введении в состав сообщения избыточных символов, как бы предназначаемых «в жертву» каналу во имя сохранения самого сообщения, сколько с целью последующего их полезного использования (вспомните: q₁+ q₂ = 0 и q₁+ q₃ = 0).

О способах и возможностях такого использования удобнее поговорить в рамках знакомства с одним из распространённых видов помехоустойчивых кодов с блочными кодами.

3.1.5.2 Блочные (блоковые) коды

Блочные (или блоковые) коды относятся к обширной группе равномерных ( в отличие от неравномерных кодов Хаффмена) алгебраических кодов и подразделяются на множество собственных разновидностей и классов: разделимые и неразделимые, непрерывные, рекуррентные и т.п.

Здесь мы очень коротко остановимся на равномерных, разделимых блоковых кодах. Они называются «блоковыми» и «равномерными» потому, что каждый исходный символ представляемого такими кодами сообщения заменяется (кодируется)

группой (блоком) из постоянного (одинакового для всех кодируемых символов) количества k собственных элементарных символов (например, символов 0 и 1 бинарного алфавита).

Например, каждой букве русского алфавита может быть поставлена в соответствие одна из 32^-х (возможных в принципе) бинарных последовательностей из пяти символов каждая – одна из перечисленных ниже последовательностей:

00000, 00001, 00011, 00010, 000111, ……,01111 и 11111.

Это и есть равномерный блочный код для представления текстовых сообщений на русском языке. Это не очень хороший код потому, что «сбой» любого одного или «сбой» любого количества бинарных символов в блоке на первый взгляд не выглядит ошибкой передачи. Испорченный блок по-прежнему остаётся буквой русского алфавита. Однако это уже не та буква, которая была подана в канал, эта буква уже «не лепится» в текст. Текст искажается и начинает выглядеть нелепицей. Такой код, следовательно, не является помехоустойчивым. И это понятно потому, что в составе каждого его блока нет избыточных символов – нечего «приносить в жертву» действующим в канале помехам.

Отметим про себя, что представленный выше код выглядит расширенным алфавитом, образованным на базе простейшего бинарного (N=2) алфавита, состоящего из «нуля» и «единицы». Объём этого расширенного алфавита М = 32 потому, что при его формировании на бинарной (N=2) основе, выбрали почему-то k=5. Ведь М = 32 = N^k = 2⁵ . С учётом этих соображений начнём сформировать новый блоковый код. Выберем вначале k = 6.

В образованном таким способом новом расширенном алфавите будет

М =2⁶ = 64 символа. В состав, формируемого на базе этого расширенного алфавита, нового блокового кода, мы, по какому-нибудь признаку, выберем нужную и подходящую нам о половину – ровно 32 блока, которыми и обозначим буквы русского алфавита. Эти 32 кодовые последовательности будут теперь нашим новым русским алфавитом. Они называются разрешёнными комбинациями символов нового кода. Остальные мы отбросим. Остальные 32 символа использованного нами расширенного алфавита отныне – запрещённые комбинации, в правильно работающем канале им нет места.

Если закодированный новым блоковым кодом текст передавать через тот же канал (искажающий бинарные символы с той же частотой), то

во-первых, обязательно нужные нам в каждом блоке 5 символов (они в таких кодах называются информационными) будут «портиться» реже (часть сбоев будет приходиться на шестой, избыточный в составе блока символ);

во-вторых, даже при не очень удачном отборе 32^-х блоков в состав такого кода только половина из блоков с ошибкой в нужной пятёрке символов станет испорченной буквой в тексте, ибо другая половины испорченных превратится в запрещенные последовательности (ошибка обнаруживается);

в-третьих, отбор групп в состав кода и выбор значения «лишнего» символа в её составе можно выполнить так, чтобы выявленную ошибку на выходе канала можно было идентифицировать, локализовать. Часто это удаётся сделать. Поэтому «лишние» символы в кодовой группе – совсем не лишние, и их называют проверочными.

В блоке с одним проверочным символом локализовать и исправить ошибку трудно. Поэтому таких символов в блоковых кодах бывает гораздо больше. Те блочные коды, в которых информационные и проверочные символы изначально чётко разделены (например, по их местоположению в блоке), и называются разделимыми.

Таким образом, при выборе (создании) нужного блокового кода вначале, опираясь на знание исходного разнообразия, которое измеряется величиной Н (энтропия русского алфавита при оценке её по максимуму равна log32 = 5), определяют (выбирают) количество информационных символов в блоке формируемого (подбираемого) для работы в определённом канале блокового кода. Далее, исходя из ожидаемых в данном канале вероятностей «сбоев», добавляют к нему несколько проверочных символов. В итоге получается равномерный блоковый код, блоки которого состоят из k (k = Н + r и, где r – количество проверочных символов в блоке) двоичных символов.

При r1 – количество запрещённых комбинаций блокового кода начинает существенно превосходить объём нового алфавита и «благотворное» воздействие перечисленных выше трёх факторов, обусловленных присутствием проверочных символов в кодовой группе, сильно возрастает – увеличиваются возможности исправления ошибок. Мерой такого возрастания считают кодовое расстояние. Так называют число, равное количеству бинарных символов, которые нужно инвертировать (превратить в противоположные, «испортить») в составе разрешённой кодовой последовательности, чтобы она стала выглядеть запрещённой.

При малом количестве сбоев в информационной части блока, легко восстановить, какая из разрешенных последовательностей была испорчена при передаче – восстановить переданный символ. При возрастании r упомянутых выше возможностей открывается так много, что одной меры для их характеристики оказалось недостаточно. Были введены меры таких свойств блоковых кодов, как способность к обнаружению и к исправлению единичных ошибок в кодовом блоке, способность к обнаружению парных ошибок и т. д. У нас нет возможности разбираться с этими вопросами подробнее, но самое важное для нас следует отметить и отметить особо.

Речь идёт вот о чём. Количество информационных бинарных символов в составе кодового блока (его иногда называют кодовым словом) выбирается, как уже было сказано выше, равным энтропии исходного алфавита или, говоря более широко, энтропии исходной ситуации, энтропии источника нужной нам информации. Это делается для того, чтобы кодируемые сообщения могли отобразить всё разнообразие поведения источника. Количество проверочных символов r в кодовом блоке должно выбираться из аналогичных соображений. Этих символов должно быть достаточно, для того, чтобы отобразить разнообразие соответствующей ситуации. При этом с ситуацией нужно определиться накануне.

Логика такого разбирательства состоит в следующем. Разнообразие ситуации, вообще, задаётся событиями. В данном случае событиями являются ошибки (инверсии бинарных символов) в информационной части кодового слова. Вероятность сбоев в данном канале, и количество информационных символов в кодовом слове известны, остаётся решить достаточно ли определённого количества символов r для отображения разнообразия событий в информационной части кордового слова. Если достаточно, то все остальное – дело техники. Действительно, ошибка в определённом месте информационной части каждого кодового слова будет появляться с определённой вероятностью, которая поддаётся вычислению. А, исходя из этого, можно вычислить энтропию ситуации, а по ней – необходимое и достаточное количество дополнительных символов r, которыми эту ситуацию можно отобразить – выявить ошибку, а потом локализовать и исправить её. Эти соображения можно сопроводить очевидными количественными соотношениями.

Пусть ансамбль {x_i} – множество входных элементарных (состоящих из одного кодового блока) сообщений, представленных в неком бинарном блоковом коде. Мощность этого множества равна количеству m_i разрешённых в составе кода блоковых комбинаций – объёму образующего код алфавита m_i = 2^Н. Здесь Н – количество информационных бинарных символов в кодовом слове (блоке), равное энтропии источника сообщений.

Пусть ансамбль{y_j} - множество выходных элементарных (состоящих из одного кодового блока) сообщений, представленных в том же бинарном блоковом коде. Каждая разрешённая последовательность x_i после передачи может превратиться в любую (запрещённую или разрешённую) из m_j = 2 ^k выходных последовательностей y_j Мощность этого множества с очевидностью равна количеству m_j всевозможных (разрешённых и запрещенных) блоковых комбинаций. Здесь m_j = 2^Н+r = 2^k, где r – количество проверочных символов в кодовом слове, а k - полная длинна кодового слова (r= k – Н).

В этих обозначенияхm_ij = m_j х m_i =2^Нх2^k– полная мощность объединённого ансамбля возможных пар типа {x_i y_j}, который моделирует общее количество ситуаций в работающем канале с помехами. Эти ситуация включают в себя: (m_ij )² =2^Нх2^Н– количество (подмножество) ситуаций, когда выходное сообщение - есть разрешённая кодовая последовательность (в этом подмножестве только m_i =2^Н безошибочно переданных сообщений (блоков), остальные (₀m_ij)=2^Нх2^Н –2^Н = 2^Нх(2^Н –1)– испорченные сообщения, ошибка в которых не может быть выявлена ).

(₁m_ij)= m_ij – (m_ij)² – количество (подмножество) ситуаций, когда выходное сообщение – есть запрещённая кодовая последовательность (случаи, когда ошибка может быть обнаружена).

(₁m_ij) = m_ij –(m_ij)² = 2^Н 2^k – 2^Н х 2^Н = 2^Н (2^k – 2^Н).

Из всего этого следует, что при использовании определённого блокового кода доля выявляемых с его помощью ошибок может быть вычислена по соотношению междуобщим количеством (m_ij) возможных единичных сообщений и количеством ((₁m_ij)) ошибок, выявляемых при их передаче: = (₁m_ij):(m_ij) = [2^Н(2^k – 2^Н)]:[2^Нх2^k] = (2^k –2^Н)]:[2 ^k] =1– [2^Н]:[2 ^k] =

=1– 1:2^(k–H)) = 1– 2^(k–H). Окончательно имеем:=.1– 2^–r (III. 15)

Следовательно, доля ошибок, выявляемых при использовании помехоустойчивого кодирования блоковыми кодами, определяется количеством проверочных символов в кодовом блоке. Таким образом, 2^–r – доля ошибок, которых обнаружить не удаётся. Очевидно, что, в полном соответствии со второй теоремой Шеннона, выбор r (количества проверочных символов в составе кодового блока) позволяет сделать эту долю сколь угодно малой (практически приемлемой).

Такова, коротко, логическая схема построения и оценки возможностей блочных кодов, помехоустойчивых кодов, обеспечивающих не только снижение смысловых ошибок, но обнаруживающих и исправляющих такие ошибки. Эта схема, как мы только что убедились, опирается на понятия и методы теории информации. Что касается второй теоремы Шеннона, то она не только стала основной этих методов – она стимулировала исследователей и инженеров к поиску практически эффективных кодов.

Этим мы закончили первую часть настоящего раздела нашего курса – часть, посвященную преимущественно дискретным каналам связи.

2. Каналы передачи аналоговой информации

Приступая к знакомству с особенностями каналов передачи непрерывных (аналоговых) сигналов, начнём с соотношения, которое мы вывели, используя понятие условных вероятностей и понятие энтропии объединений применительно к анализу работы дискретного канала. Тогда мы получили выражение для пропускной способности дискретного канала

C_Д = v_x [Н(j) –Н_i(j)]

В этом соотношении о природе канала (о его дискретности) говорит только определяющийся свойствами канала коэффициент v_x. Это была скорость следования – ритм следования сквозь канал единичных сигналов-символов, который обусловлен ритмом смены состояний дискретного источника информации, темпом его «жизни», темпом реализации его репертуара. Как мы теперь знаем из второй части нашего курса, аналогом этого параметра в случае источников непрерывных сообщений является ширина спектра непрерывного сигнала, которая и определяет полную полосу пропускания этого канала (2ΔF= v_x).

Из той же части курса нам известно, что ансамбль непрерывных сигналов, например, выбираемый нами ансамбль сигналов для использования в каком-то канале, характеризуется дифференциальной энтропией, которая вычисляется по формулам, внешне очень похожими на формулы энтропии дискретных ансамблей.

Н (х) = – p_i loqp_i иН(у)=– р(у)logр(у)dу

Это означает, что, решившись повторить применительно к объединениям двух ансамблей непрерывных функций, все рассуждения и вычисления, которые мы проделали применительно к объединениям дискретных ансамблей, мы получили бы точно такие же соотношения между энтропиями исходных ансамблей и энтропией их объединения. При этом нам пришлось бы освежить в памяти понятия условных распределений и условных вероятностей применительно к непрерывным распределениям.

Будучи последовательными, мы с Вами получили бы соотношение для вычисления взаимной информации между взаимодействующими (взаимосвязанными) эргодическими ансамблями случайных функций.

Вот оно это соотношение:

I(у,x) = Н(у) - Н_x(у)= Н(x) - Н_y(x)= I(x,у) (III. 16)

Изучая непрерывные распределения и свойства эргодических ансамблей, мы познакомились с ансамблями, у которых очень много степеней свободы и с понятиями энтропии на степень свободы, и энтропии в единицу времени. В этом во многом помогло знакомство с теоремами Котельникова и способами описания шумов.

Обладающий k (k =2TΔF) степенями свободы эргодический ансамбль имеющий общую энтропиюН(х), на каждую степень свободы имеет энтропию

h_k =Н(х)/2TΔF и, естественно, в T раз меньшую общей энтропию на единицу времени Н_t =Н(х)/T.

Н (х) =2TΔF h_kи Н (х) =2ΔFН_t .

При этом, опуская индекс у h, можно записать: Н_t = 2ΔFh иh = Н_t /2ΔF,.

Если учесть это применительно к представленному выше соотношению для оценки взаимной информации между двумя ансамблями и если интерпретировать эти ансамбли, как математические модели сигналов на входе и выходе аналогового канала, то соотношение можно переписать так:

I(x,у) = Н(у – Н_x(у),а [I(x,у)/T = C =Н_t (у)/T –Н_x(у)/T =2ΔFh(у)–2ΔFh_х(у).

Итак, имеем: C = 2ΔF[h(у) –h_х(у)], (III. 17)

где C= – скорость передачи информации по непрерывному каналу, максимум которой и будет его пропускной способностью, а h_х(у) – введённая по аналогии условная энтропия объединения ансамблей на степень свободы.

Таким образом, пропускная способность непрерывного (аналогового) канала будет выражаться следующим соотношением:

C_АК = maxC =2ΔF[h(у) – h_kх(у)] (III. 18)

(здесь множество{ р(x)}– множество непрерывных распределений плотности вероятностей для возможных в канале ансамблей входных сигналовX(t)).

Далее нам предстоит разбираться со смыслом образующих в скобках разность величин h(у) и h_х(у). Вернее говоря, со смыслом h(у) мы только что разобрались, разбираться осталось с величиной h_х(у), которая имеет своим предшественником выражение:

Н_x(у) = – р(x)р^x(y)logр^x(y)dydx.

В привычной нам форме оно имело вид:

Н_x(у) = – р_iрⁱ_jlogрⁱ_jdydx = – р_i [рⁱ_jlogрⁱ_jdy]dx.

Внимательно приглядимся к выражению в квадратных скобках.рⁱ_jlogрⁱ_jdy . По форме -– это энтропия непрерывного ансамбля. По сути – энтропия подмножества выходных сигналов в канале – сигналов, которых можно там ожидать при подаче на вход этого канала i^-ой реализации ансамбля входных сигналов X(t).

Для уточнения смысла выписанного выше интеграла, рассмотрим векторную диаграмму (см. рисунок ниже) формирования выходного сигнала в канале. Вектор y есть результат сложения поданного на вход канала сигнала x и присутствующего тамвектора шумовой функцииz(y= x+ z).

СложениеЭто очевидный факт. С другой стороны, опираясь

сигнала и шума на это соотношение, мы можем осуществить замену

z переменных z=(y–x) в обсуждаемом нами интеграль-

xy ном выражении: рⁱ_jlogрⁱ_jdy =р_j(у-х)logрⁱ(у-х)dy.

xyСохранив в этом соотношении смысл

символов x и y , мы обнаруживаем, что ни от x, ни от y непосредственно подынтегральное выражение не зависит. Оно зависит только от их разности (от z ) и потому может быть с полным основанием переписано в виде:

рⁱ_jlogрⁱ_jdy =р_j(у-х)logрⁱ(у-х)dy. =р(z)logр(z)dz = К

Таким образом, Н_x(у) = – р_iрⁱ_jlogрⁱ_jdydx = – р_i [рⁱ_jlogрⁱ_jdy]dx =

– р_i [р(z)logр(z)dz]dx = – р_i [К] dx = – Кр_i dx= – К.

Итак, Н_x(у) = – К = – р(z)logр(z)dz.

Это – не что иное, как энтропия шумовой функции. Следовательно,

Н_x(у) = Н(z) = – р(z)logр(z)dz (III. 19)

В словесной формулировке эта запись означает:

при применении математического аппарата условных

вероятностей и условной энтропии к анализу взаимоотношений

трёх, ансамблей непрерывных сигналов в канале:

- ансамбля подаваемых на вход канала сигналов,

- ансамбля шумов в канале и

- ансамбля сигналов на выходе канала.

Мы выяснили, что условная энтропия – есть не что иное, как энтропия ансамбля шумовых функций, который (ансамбль) описывает шумы в реальном аналоговом канале.

Возвращаясь к началу нашего рассмотрения пропускной способности канала передачи непрерывных сообщений (аналогового канала) и учитывая, что степеней свободы у шумового ансамбля всегда оказывается k =2TΔF – ровно столько же, сколько их есть у сигналов потому, что шумы существуют в канале с полосой пропускания 2ΔF, которая подобрана под спектр сигналов, и наблюдаются эти шумы так же долго, как долго (пока) существует сигнал (Т секунд), мы можем записать:

C =2ΔF[h(у) – h(z)],гдеh(z) = Н(z)/k = Н(z)/2ΔFТ = h_k =logР_щ .

h_k h_k = logР_щ – энтропия на степень свободы для ансамбля случайных функций, который отображает случайные шумы в нашем канале.

В итоге имеем: C =2ΔF [h(у) – logР_щ ], откуда ясно, что

максимизировать остаётся только величину h(у).

Более того, из этого соотношения видно, что добиваться максимальной пропускной способности при любых шумах в канале следует с придания выходному сигналу характера шумового сигнала, характера, при котором ансамбль описывающих его функций имеет нормальное распределение амплитуд. В этом случае сигнал будет иметь максимальную энтропию h(у) = logР_у (здесь Р_у =_у² – средняя мощность сигнала на выходе канала), которая (h(у)) является уменьшаемой величиной в разности, максимум которой желательно обеспечить.

Придать нужную форму сигналу мы можем только на входе канала при подготовке сигнала перед его передачей в канал – то есть, мы, используя определённые технические устройства, можем получить и использовать в канале ансамбль сигналов с энтропией на степень свободы h(х) = logР_х (здесь Р_х =_х² – средняя мощность сигнала на входе канала).

Еще во второй части курса (см. «Сигнал») мы убедились, что при сложении независимых случайных сигналов в линейных системах их квадратичные эффекты суммируются (Р_у = Р_х + Р_щ или _у²=_х² +_z² ). С учётом этого знания записываем: h(у) = log( Р_х + Р_z ) (здесь Р_z Р_{щ )} и, соответственно,

C =2ΔF[log(Р_х + Р_z) – logР_z],

C =2ΔFlog{(Р_х + Р_z ):Р_z } = ΔFlog{(Р_х + Р_z ):Р_z} = ΔFlog{1+ Р_х/Р_z}.

Соотношение C = ΔFlog(1+ Р_х/Р_z) (III. 20)

– одна из наиболее часто применяемых в теории связи формул. Она называется формулой Шеннона и представляет собой самую общую математическую модель канала передачи непрерывных сигналов – выражение для вычисления верхнего теоретического предела пропускной способности такого канала в наихудших условиях – в условиях действия в канале обладающих максимальной энтропией случайных гауссовских шумов. Именно такие шумы наносят наибольший вред в канале, максимально уменьшая его пропускную способность.

Формула Шеннона выведена по ходу рассмотрения всех процессов в координатах «интенсивность-время», как ещё говорят, во «временной плоскости». Интересно было бы дополнительно рассмотреть эти процессы в «частотной плоскости», ибо «гауссовость» шума – это нормальное распределение амплитуд интенсивности и только!

А как на «вредности» такого шума сказываются особенности его спектра? Для ответа на этот вопрос вообразим себе подходящую ситуацию, постараемся её описать и проделаем с этими описаниями математические упражнения по известным нам методам.

Пусть гауссовский шум имеет в частотной плоскости характеристику s_ш(f).Пусть наш сигнал в канале с таким шумом имеет в частотной плоскости характеристику s_с(f).Для них будут иметь место известные соотношения

s_с(f)=Р_с. и s_с(f)=Р_с ,

которые с учётом конечности полосы реального сигнала можно переписать

s_с(f) = Р_с. и s_z(f) = Р_z ,

где учтено, что «сопровождающие» сигнал шумы должны рассматриваться в той же частотной полосе.

Далее учтём, что в соответствии с теоремамиКотельникова и вытекающими из них формулами преобразования координат, энтропия на степень свободы ансамбля шумов (и ансамбля сигналов) одинакова и в частотном, и во временном представлении этого ансамбля.

Δf А теперь внимательно приглядимся к

f1 f2 малому (элементарному) участку Δf на

частотной оси (см. рисунок слева). Из-за

его малости на всём его протяжении

=2f спектральные характеристики и сигнала и шума можно считать постоянными. Энтропия смеси сигнала и шума на этом участке составит ТxΔfxlog2е[s_с(f)Δf + s_z(f) Δf],

энтропия только шума ТxΔfxlog2е s_z(f) Δf. Cледовательно, скорость

передачи информации в этом «микроканале» составит:

ΔС = Δfx log{[s_с(f)Δf + s_z(f)Δf]:[ s_z(f)Δf]}.

Определение скорости С передачи информации в всём канале с полосой пропускания от f1 до f2 сведётся к суммированию всех подобных ΔС, что, при бесконечном уменьшении интервала Δf , окажется

интегрированием от f1 до f2. С = log{[s_с(f) + s_z (f)]:[ s_z (f)]}df

Итак, у нас есть некий интегральный параметр канала С =…, и естьфункционал F(s_с(f),f) = log{[s_с(f) + s_z(f)]:[ s_z(f)]}, в который входит спектральная характеристика сигнала. Следовательно, при какой-то её форме она (спектральная характеристика) обеспечивает этому параметру максимальное значение. Существует какая-то s_с(f) , которая приводит к максимальной пропускной способности нашего канала.

Найдём её, вспомнив уравнение: F(s_с(f),f) +_kk(s_с(f),f) = 0

и метод его решения.

В нашем случаеF(s_с(f),f) = log{[s_с(f)+ s_z(f)]:[s_ш(f)]} =[s_с(f) + s_z(f)]^-1,= s_с(f),(это из дополнительного условияs_с(f)=Р_с), следовательно,

s_с(f)=1, а уравнение в целом будет выглядеть:[s_с(f)+ s_z(f)] ^-1+= 0, откуда вытекает интересное требование к спектру сигнала, которое «привязывает» характер этого спектра к характеру спектра шума в канале

s_с(f) +s_z(f) = – (см. рисунок ниже).

S - мощность спектральных составяющих

s_с(f) + s_z(f) = – . сигнал +шум в полосе = –

s_z(f)-шум

f1 f2 f-частота

С этим знанием обратимся ещё раз к выражению для пропускной способности нашего канала С = log{[s_с(f) + s_z(f)]:[ s_z(f)]}df , перепишем его в виде С = log[s_с(f) + s_z(f)] df – log s_z(f)df и учтём полученное выше соотношение между спектрами сигнала и шума. Получаем:

С = log[s_с(f) + s_z(f)] df – logs_z(f)df = [s_с(f) + s_z(f)]df – logs_z(f)df =

= – [f2– f1] – log s_z (f)df. Этот результат говорит о том, что пропускная способность нашего канала будет наименьшей тогда, когда logs_z(f)df достигает max, снова мы имеем некий интегральный параметр, зависящий от функционала, и снова этот функционал - log, и снова к функционалу есть дополнительное условие: s_z(f)=Р_z .

Значит и мы, снова составляем уравнение: log s_z(f) + s_z(f)= 0 и, решая его, получаем: s_z(f)= – = Const, а этот результат означает, что из всех гауссовских шумов наибольший «вред» каналу наносит «белый шум» - шум с равномерным распределением мощности по всей полосе сигнала

Такое вот уточнение, а теперь возвращаемся к формуле Шеннона.

Формула Шеннона впервые продемонстрировала инженерам возможность «обмена» мощности сигнала на полосу пропускания канала, возможность увеличить пропускную способность за счёт расширения полосы пропускания. Это послужило толчком к промышленному освоению (к разработке и производству новых технических устройств) более высокочастотных радиодиапазонов, что, казалось, сулило неограниченные возможности для радиосвязи без существенного возрастания излучаемых мощностей.

Однако, уже из самой этой формулы видно, что неограниченного роста пропускной способности аналоговых каналов ожидать не следует. В самом деле, выразив мощность шумов через их спектральную плотность Р_z= ΔF₀ (здесь₀ – удельная мощность шума, средняя его мощность на каждый (1) герц полосы пропускания ΔF), получаем:

C= ΔFхlog(1+ Р_х/ΔFх₀), что можно преобразовать неоднократно проверенным способом (здесь, как и вездеР_х Р_с)

ΔFхlogехln(1+ Р_х/ΔFх₀ ) = ΔFхlogех(Р_х/ΔFх₀) = logех(Р_х /₀).

Всё это означает, что

при неограниченном расширении полосы пропускания рост пропускной способности аналогового канала замедляется и она стремиться к конечному пределу C = logех(Р_х /₀) = 1, 443(Р_х /₀).

Это, вытекающее из формулы Шеннона, предельное соотношение позволяет получить интересный результат с определённым «философским» звучанием.

Предположим, что за некоторое время Т по каналу с такой предельной пропускной способностью передано m битов информации

ТхC = m = 1, 443(Р_х /₀).

Поделив обе части соотношения на m , получаем

1=1, 443(Р_х/m₀) или Р_х/m=₀/ 1, 443, что означает:

«в самом хорошем реальном канале на передачу каждого бита информации необходимо затратить не менее, чем

Р_min= 0,67х₀ ватт энергии».

Возвращаясь непосредственно к формуле ШеннонаC = ΔFlog(1+ Р_х/Р_z),

сопоставим её с полученной много раньше формулой(III. 5) для пропускной способности дискретного(C_Д)каналаC_Д = v_xlog(1+Р_с / Р_z ).

Если учесть неоднократно здесь упоминавшееся соотношение v_x = 2ΔF (при которомC_Д =v_xlog(1+Р_с/ Р_z ) =2ΔF log(1+Р_с/ Р_z ) = ΔF log(1+Р_с/ Р_z )), то обе формулыC = ΔFlog(1+ Р_х/Р_z) и C_Д = ΔFlog(1+Р_с/Р_z)выглядят прочти идентичными (Р_хР_с). Они отличаются только множителем в скобке. Это естественно, ибо речь идёт, по сути дела, о физических процессах принципиально не отличающихся друг от друга. Если учесть, что формула Шеннона даёт предёльно достижимое теоретическое значение пропускной способности, (при = 0) то в практически реализованных аналоговых каналах пропускная способность будет вычисляться по соотношению

C = ΔFlog(1+ (а) Р_х /Р_ш),где тоже присутствует некий коэффициент

(а 1),конкретное значение которого определяться (диктуется) принятыми в данном канале техническими решениями при выборе структуры сигнала и т. п. Иногда такой коэффициент не используют, «упрятав» причины не достигнутого теоретического значения пропускной способности в «эквивалентные» шумы канала(C = ΔFlog(1+ Р_х/Р_zЭ)), или в

«коэффициент инженерного запаса»(C = ΔFlog(1+k_иР_х/Р_z)).

Но сути это не меняет.

Действительно. Процесс дискретизации, который используют при актуализации первичных непрерывных сигналов, по своему воздействию на пропускную способность, как видно и из формулы, эквивалентен некоторому дополнительному шуму. В связи с этим, величина иногда трактуется, как мера «шума дискретизации», мера воздействия дискрети-зации на форму выходного сигнала, мера вносимых ею погрешностей – искажений первичного сигнала.

Такая трактовка даёт ещё одну форму записи формулы

C_Д = ΔFlog(1+Р_с/Р_zЭ ) (III. 21)

Всё это говорит о фактической эквивалентности всех этих формул для внимательного и грамотного инженера, способного понять и правильно учесть, какие физические процессы кроются за каждым значком любой формулы. В связи с этим отметим, что в инженерной практике для оценки пропускной способности канала чаще используется формула:

C = ΔFlog(1+ Р_х/Р_zЭ), которая в связи с тем, что обычно(Р_х/Р_zЭ))1 ,

принимает более простой (инженерный) вид:

C = ΔFlog(Р_х/Р_шЭ) (III. 22)

Величина D=log(Р_х/Р_zЭ) носит специальное название: динамический диапазон мощности сигнала в реальном канале. Нижний предел этого диапазона определяется шумами в канале, а верхний – допустимой в этом канале максимальной мощностью, которая проходит через канал, не прожигая изоляцию и не вызывая искрения, пробоев и тому подобных эксцессов.

Если Вы в состоянии оплатить работу канала в течение некоторого времени Т, то Ваши возможности можно оценить некой обобщённой мерой, которая называется ёмкостью канала и вычисляется на базе соотношения V_k= ΔF_kxТ_kxD_k.

Выбирая канал, Вы соотносите эту величину с Вашей потребностью, которая, как было отмечено во второй части курса, измеряется объемом сигнала, который «вбирает в себя» всю подготовленную для передачи информацию

Математическая форма этого соотношения

V_с=ΔF_сxТ_сxD_с= ΔF_kxТ_kxD_k = V_k (III. 23)

Это – условие сопряжения модели сигнала с моделью канала, представленная в самом общем формальном виде цель разработчика канала связи.

Этим мы почти закончили рассмотрение раздела «Каналы связи» и курса теории информации, вообще. Для устранения этого «почти», ниже мы бегло остановимся на некоторых частностях, которые помогут нам узнать и понять, как потенциальные носители сигналов становятся сигналами и как разнообразные сигналы ведут себя («уживаются вместе») в одном канале.