5.1.2 Превышение сигнала над помехой

Эта величина выражается отношением мощностей:

, (5.6)

где P_s – средняя мощность сигнала; P₀ – средняя мощность помехи.

Превышение сигнала над помехой часто называют уровнем сигнала над помехой.

Отношение сигнал/помеха определяется через отношение напряжения сигнала к действующему эффективному напряжению помехи:

. (5.7)

В этом случае измеряется в децибеллах.

Произведение основных характеристик сигнала связи Т_с, ∆f _с и называют объемом сигнала:

. (5.8)

5.2 Сигнал как случайный процесс

Представление сигнала некоторой функцией времени S(t) не отражает существа процесса передачи информации. Если на приемной стороне сигнал может быть заранее представлен некоторой функцией времени, то не имеет смысла передавать такой сигнал по каналу связи, так как заранее известны все будущие значения сигнала.

В действительности о сигнале на приемной стороне могут быть известны лишь совокупность его возможных значений, вероятности их появления, а также некоторые основные (или средние) характеристики сигнала. Появление того или иного сигнала на приемной стороне является случайным событием. Возможные значения такого случайного сигнала называют выборочными значениями (рисунок 1.11), а все множество возможных значений - выборочным пространством. Например, в случае двоичного кодирования выборочное пространство состоит из двух элементов (посылка и пауза). Напряжение теплового шума в цепях аппаратуры связи может принимать любое значение, и, следовательно, выборочным пространством в этом случае является вся действительная ось значений сигнала(-∞;∞).

В процессе связи одни значения сигнала сменяются другими, образуя выборочные функции или реализации случайного сигнала. Форма реализации случайного сигнала зависит от передаваемого сообщения и, следовательно, меняется от опыта к опыту. Таким образом, случайный сигнал может быть представлен функцией времени лишь в рамках данной его реализации.

Объединяя в себе свойства функции времени и случайной величины, сигнал действующий в линии связи должен рассматриваться как случайный процесс. В соответствии с отмеченной двойственностью случайного сигнала он может быть задан двояким образом. По одному из этих способов случайный сигнал считается заданным, если известны все его реализации и их вероятности. Другой способ задания случайного сигнала заключается в указании закона распределения для случайных величин, представляющих сигнал в различные моменты времени.

Менее подробным способом описания случайного сигнала является указание его средних характеристик:

- математического ожидания, совпадающего с постоянной составляющей всех типичных и достаточно длинных реализаций сигнала;

- дисперсии, которая равна мощности переменных составляющих сигнала, выделяемой на единичном сопротивлении;

- частотного спектра мощности, характеризующего распределение энергии сигнала по частоте;

- функции корреляции, определяющей степень взаимной зависимости значений сигнала в различные моменты времени.

Определение указанных характеристик сигнала, несмотря на их широкое применение, не характеризует сигнал с точки зрения содержащейся в нем информации. Между тем, сигнал связи ценен лишь тем, что содержит в себе информацию. До приема сигнала ситуация для получателя является неопределенной, а получение сигнала и извлечение из него информации разрушает или, по крайней мере, уменьшает неопределенность. При этом чем более неопределенной была ситуация до приема сообщения и чем менее неопределенной она стала после этого приема, т. е. чем больше неопределенности снято при приеме сообщения, тем большая информация получена па приемной стороне.

Таким образом, для оценки количества информации, заключенной в сигнале (сообщении), необходимо оценивать сигнал с точки зрения неопределенности, обусловленной его законом распределения. Количественную меру неопределенности очередного значения сигнала называют энтропией, понятие которой ввел впервые Клод Шеннон в 1948г.

В случае дискретного сигнала S(t), который может принимать т различных значений с вероятностями p₁, p₂,…, p_m, энтропия определяется величиной

(5.9)

Логарифмы в этом выражении могут быть взяты при любом основании, но чаще всего выбирается основание 2. Тогда при т = 2 и р₁ = р₂ = 0,5 энтропия Н(x)= l. Это значение энтропии называют двоичной единицей (1 дв. ед. или 1 бит). Одна двоичная единица энтропии связана с неопределенностью выбора одного из двух равновероятных значений сигнала. Например, если ответом на заданный вопрос могут быть с одинаковой априорной вероятностью утверждение «да» или отрицание «нет», то неопределенность ответа равна 1 дв. ед., т. е. 1 биту.

Из определения энтропии вытекают следующие ее свойства:

1) энтропия сигнала равна нулю лишь в том случае, если вероятность наступления одного из его значений равна единице (вероятности остальных значений при этом равны нулю). Такой сигнал не обладает неопределенностью, так как достоверно известно одно единственно возможное его значение. Во всех других случаях, когда имеет место та или иная неопределенность значения сигнала, энтропия является положительной величиной;

2) наибольшей энтропией обладает сигнал с равномерным законом распределения вероятностей, т.е. сигнал, обладающий наибольшей неопределенностью исхода. При равновероятности любого из m символов р_k= 1/m и

. (5.10)

3) при объединении независимых ансамблей случайных событий их энтропии складываются: ;

4) энтропия дискретных сообщений есть величина вещественная, ограниченная и неотрицательная, так как значение вероятности не превосходит единицу, т.е. . При этом его логарифм это отрицательное число или ноль, т.к. график логарифма имеет вид (рисунок 5.6), и с учетом (5.9) энтропия будет неотрицательной величиной.

Рисунок 5.6 – График функции log(p(x_i))

Эти свойства подтверждают, что энтропия может служить мерой неопределенности состояния различных случайных объектов и, в частности, таких объектов, как сигналы в системах связи и их источники.

Однако основное определение энтропии учитывает лишь неравновероятность появления различных значений сигнала и не учитывает взаимосвязи между этими значениями. Между тем, интуитивно чувствуется, что взаимозависимости между элементами сигнала уменьшают его неопределенность. Если после данного элемента сигнала S(t), возможно появление не любого, а лишь некоторых из m возможных элементов сигнала или если появление элемента х_i влияет на вероятности появления последующих элементов, делая одни из них более вероятными, а другие - менее вероятными, то это значит, что элемент х_i вносит некоторую ясность о последующих значениях сигнала еще до их появления, т. е. уменьшает общую неопределенность ситуации. Если взаимозависимость между элементами сигнала делать все более жесткой, то в пределе после данного значения сигнала с вероятностью единица станет возможным появление лишь одного определенного значения сигнала. В этом предельном случае вероятностный процесс превращается в функциональную зависимость значения сигнала от времени, неопределенность ситуации полностью исчезает и энтропия должна стать равной нулю.

Пусть, например, передается сигнал, в котором вероятностные взаимозависимости наблюдаются лишь между соседними элементами. Зафиксируем внимание только на тех элементах х_i, которые появляются сразу после элементов х_i. Если в достаточно длинной реализации, состоящей из n элементов, число таких элементов х_i равно n_i,j, то условная вероятность появления элемента х_i после элемента х_i равна:

. (5.11)

Чтобы оценить неопределенность появления того или иного элемента сигнала после того, как был принят элемент х_i , необходимо воспользоваться определением энтропии, но для условных вероятностей:

. (5.12)

Для различных элементов сигнала i = 1, 2, ...,m величина этой неопределенности различна, а так как эти элементы появляются случайно, то Н_i(X) является случайной величиной. Энтропией сигнала в целом целесообразно считать математическое ожидание этой случайной величины:

(5.13)

Таким образом, энтропия сигнала при наличии вероятностной взаимозависимости между двумя соседними элементами сигнала определяется выражением:

(5.14)

При распространении вероятностных взаимозависимостей на несколько последующих значений сигнала выражения для определения энтропии усложняются, но методика вычислений остается прежней.

Полученные выражения позволяют вычислить среднее значение энтропии, приходящееся на один элемент сигнала. Энтропия сигнала длительностью в п элементов может быть определена как средняя энтропия одного элемента, увеличенная в n раз.

Приведённые определения энтропии, справедливые для дискретных сигналов, не могут быть непосредственно использованы для оценки неопределенности непрерывного сигнала (или непрерывного источника). Поскольку непрерывный сигнал имеет бесконечно большое число возможных значений, неопределенность исхода одного из них может быть как угодно велика. Действительно, обращаясь к дифференциальному закону распределения вероятностей и обозначая через р(х) плотность вероятности, можно считать, что при достаточно малом ∆х вероятность попадания сигнала в интервал (х_k,, x_k +∆ x) равна:

. (5.13)

Следовательно, выражение для энтропии непрерывных сообщений, после математических преобразований примет вид:

. (5.14)

Полученное выражение подтверждает высказанное предположение о бесконечно больших значениях энтропии непрерывного сигнала. Свойства энтропии непрерывного сигнала аналогичны свойствам энтропии дискретного сигнала.