книги из ГПНТБ / Гойхман Э.Ш. Основы теории передачи информации в автоматизированных системах управления

прерывная случайная функция времени, дискретные значения ко-

торой в точках отсчета, взятых иа интервалах \ t = ^p, соответ­

ствуют ординатам вектора.

В соответствии с (3.37) наиболее общее выражение для энтропии непрерыв­

На основании (3.37,а) можно показать, что для двухмерного непрерывного распределения аналогично дискретному случаю (см. 3.7,а) выражение для эн­

тропии имеет вид

реты).

Таким образом, в случае независимых дискрет энтропия непре­ рывной случайной функции равна сумме энтрецгий независимых дискрет.

Можно показать [В, что

При этом равенство соответствует случаю, когда хи х-2..- х„ явля­ ются независимыми переменными. Отсюда следует, что максимум энтропии имеет место в случае независимости дискрет, взятых в точках отсчета.

Практически почти всегда приходится иметь дело со стацио­ нарными случайными функциями, т. е. функциями, статистические характеристики которых не меняются во времени. В этом случае энтропии всех независимых дискрет одинаковы. Тогда случайная

90

стационарная функция со спектром, ограниченным полосой F, и длительностью Т может быть в соответствии с теоремой Котель­ никова отображена с помощью n = 2FT, полученных в точках отсче­ та независимых дискрет. Вследствие стационарности эти дискре­

Полученное выражение представляет большой практический ин­ терес.

П р и м е р 3.16. Определить энтропию флюктуационного шума*. Величина дисперсии о2 для напряжения флюктуационного шу­ ма характеризует среднюю мощность N, выделяемую_шумовым

напряжением на единичном сопротивлении, f. е. a2—u2=N. Тог­

да a=Y~id=YN. Учитывая (3.43), получим, что энтропия для напряжения флюктуационного шума равна

Н*(и)—log]/2тгeN. (3.44)

В соответствии с теоремой Котельникова напряжение флюктуационных шумов на отрезке времени Т может быть, отображено совокупностью независимых дискрет, взятых в точках отсчета (с

* Под флкжтуационным шумом понимается случайный стационарный про­ цесс с равномерным в пределах полосы F спектром, нормальным распределе­ нием мгновенных значений и нулевым средним значением.

91

интервалами А^зг: J , ). Поскольку дискреты независимы друг от

друга, то энтропия флюктуационного шума равна сумме энтропий отдельных дискрет:

Из условия стационарности следует, что дисперсии, а следова­ тельно, и значение энтропии для всех дискрет одинаковы. Тогда в соответствии с (3.41) и (3.44)

Н-2/-Т

Н*(иии2..иа)= V H*(ui)=FTlog(2i:eN) = H*[u(t)]. (3.46) i л

Полученное выражение характеризует энтропию флюктуацион­ ного шума при заданных интервале времени Т, полосе частот F и мощности N.

3.8.2, Основные свойства энтропии непрерывных распределений

П р е д е л ы и з м е н е н и я э н т р о п и и

Энтропия непрерывного распределения может принимать как. положительные, так и отрицательные значения.

Отрицательное значение энтропии указывает на то, что данное распределение более сосредоточенное (т. е. имеет меньшую неоп­ ределенность), чем «единичное»-

Э н т р о п и я н е п р е р ы в н о й в е л и ч и н ы , з а д а н н о й а б с о л ю т н о т о ч но

Энтропия непрерывной величины, заданной абсолютно точно, равна отри­

—со

Интересно напомнить, что энтройня дискретной величины при отсутствии разброса (как системы, состояние'которой точно известно) равна нулю (§ 3.3).

Сущность полученного результата ,(3.47) становится ясной, если вспомнить, что, поскольку за нулевой уровень была принята энтропия единичного распре­ деления, любое распределение, более сосредоточенное, чем единичное, имеет от­ рицательную энтропию тем большую по абсолютному значению, чем сосредо­ точеннее распределение

92

У с л о в н а я э н т р о п и я при о д н о з н а ч н о м с о о т в е т с т в и и в е л и ч и н

Если между величинами х и у имеется однозначное соответствие (например, з канале связи выходная величина у точно и без запаздывания повторяет не­ прерывную входную величину х), то условная энтропия II*(X/Y) равна —°о. Это может быть получено из выражения

00

Н*(Х Y)—— J* I" W(x,y)\og'X'(x v)dx.dy,

- —00

если при интегрировании учесть, что в рассматриваемом случае плотность ус­ ловной вероятности W(x/y) при любом значении величины у является дельта­ функцией.

Э н т р о п и я и п р е о б р а з о в а н и е к о о р д и н а т

Энтропия непрерывного распределения изменяется при преоб­ разовании координат. В дискретном случае энтропия имеет впол­ не определенное значение, поскольку входящие в ее выражение вероятности дискретных состояний функции имеют определенные конкретные значения.

Энтропия непрерывных распределений выражается через функ­ ции распределения вероятностей. Последние, как известно, изме­ няются при преобразованиях координат, что приводит и к измене­ нию энтропии.

Рассмотрим, как происходит изменение энтропии в простейшем случае одномерного распределения.

При переходе от координатной системы X к координатной си­ стеме Y отрезок dx (рис. 3.15) преобразуется в dy. При этом ве-

Рис. 3.15

роятность того, что случайная величина Y находится в интервале от уо до y<s-\-dy, должна быть равна вероятности нахождения слу­ чайной величины X в интервале от Лд до x0-\-dx. Иначе говоря, должно выполняться равенство площадей Sx и Sy

W(x)dx=W(y)dy. (3.48)

93

координат. Последний характеризует соотношение масштабов ста­ рой и новой координатных систем и в случае одномерного распре-

Найдем выражение для энтропии в новой координатной си­ стеме-

По определению H*{Y) = —j' W{y)\ogW(y)dy. Учитывая (3.48)

Таким образом, энтропия при новых координатах равна энтропии при старых координатах минус математическое ожидание лога­ рифма якобиана преобразования от старых координат к новым.

Следует подчеркнуть, что зависимость энтропии непрерывных распределений от координатной системы не создает больших прак­ тических неудобств. Это объясняемся тем, что обычно (например, при вычислении пропускной способности канала, количества пере­ даваемой информации и др.) приходится иметь дело с разностями энтропий; при вычитании одинаковые для уменьшаемого и вычи­ таемого члены, содержащие математическое ожидание логарифма якобиана преобразования, взаимно уничтожаются.

Кроме тосо, при некоторых преобразованиях координат (на­ пример, при повороте координатной системы или смещении ее на­

чала) масштаб не меняется. В этих случаях ^ г = 1 и H*(Y) = Н*(Х).

Значительный интерес представляет вопрос о том, как влияет преобразование координат в системе, через которую проходит сиг­

которого отличен от нуля.

94

б) среднее количество информации -при прохождении последо­ вательно соединенных систем может только убывать либо (в пре­ дельном случае отсутствия дополнительных шумов) оставаться не­ изменным.

Э н т р о п и я и з а к о н р а с п р е д е л е н и я в е р о я т н о с т е н э л е м е н т о-в с и г н а л а

Энтропия, зависит от закона распределения вероятности. Поль­ зуясь методами вариационного исчисления Ш, можно найти функ­ цию распределения, которая при заданных определенных условиях обеспечивает максимум выражения

Н * = —J W(x)]ogW(x)dx.

Такими условиями могут быть, в частности, отсутствие либо на­ личие ограничений па среднюю мощность сигнала, па его пиковое значение и др.

Можно показать [1, 2], что:

1. При заданном интервале допустимых значений сигнала (или при ограниченной пиковой мощности) наибольшей энтропией об­ ладают сигналы с равномерным распределением вероятностей символов.

2. Среди сигналов, имеющих одинаковую среднюю мощность Рс = о2, наибольшей энтропией обладают сигналы с симметрич­ ным нормальным законом распределения вероятностей.

Сущность этих положений поясним некоторыми нестрогими, но наглядными соображениями-

Пусть, например, напряжение сигнала U может принимать равновероятно любое из квантованных значений кЛи (где к = 0, 1, 2... п р) в интервале от 0 до UpMdKC= пр'\п. Не меняя шага кван­ тования и средней мощности сигнала Рс, изменим закон распре­ деления таким образом, чтобы вероятность появления малых уров­ ней повысилась, а больших соответственно понизилась. За счет, этого при прежней средней мощности можно увеличить верхний предел изменений сигнала (UHмакс = //„Лк > Up макс), а следо-

'вательно, и число возможных квантованных уровней пн. Увеличе­ ние числа возможных уровней п повышает энтропию; уход от рав­ новероятности (т. е. переход к более сосредоточенному распреде­ лению) ее уменьшает. Очевидно, должно существовать опти­ мальное распределение, обеспечивающее наибольшую при задан­ ной средней мощности энтропию. Таким распределением и являет­ ся нормальное *.

Для обеспечения максимальной энтропии при любом заданном законе распределения вероятностей необходимо также, чтобы от­

сутствовали связи между значениями сигнала в точках отсчета. Нормальное распределение вероятностей для мгновенных значе-

* Приведенные в пп. 1 и 2 соображения справедливы как для непрерыв- - пых, так и для дискретных каналов.

95

пий в каждой точке отсчета (т. е. для каждой дискреты) и отсут­ ствие связей между значениями в различных точках свойственны флюктуационному шуму.

Поэтому при заданных полосе, длительности и средней мощно­ сти наибольшую энтропию имеют сигналы,, обладающие статисти­ ческими характеристиками флюктрационного шума.

Отсюда следует, что:

а) для того, чтобы электрический сигнал при заданной средней мощности Переносил наибольшее количество информации, необхо­ димо его предварительно преобразовать так, чтобы было обеспече­ но нормальное распределение его мгновенных значении. Однако подобное преобразование связано с определенными техническими трудностями и пока широкого применения не нашло;

б) весьма опасной является флюктуационная помеха, обла­ дающая максимальной энтропией и переносящая вследствие этого наибольший при данной средней мощности комплекс мешающих элементов.

В связи с этим при анализе пропускной способности, помехо­ устойчивости и других расчетах обычно в качестве типовой помехи принимается флюктуациоиный шум.

ного распределения Н * с нулевым средним значением и с той же средней мощностью (дисперсией) а2.

Для нормального распределения энтропия на дискрету равна'

Яр* = — J W{x)\og2W{x)dx--

9 6

а

Д Я =Я К*—^ /)*=log2(K '2ite s)~\og2V \2 a =

т. e. энтропия нормального распределения больше, чем равномер­ ного.

3.6.3. Пропускная способность канала при передаче непрерывных сигналов

О б щ и е с в е д е н и я о п р о п у с к н о й с п о с о б н о с т и н е п р е р ы в н о г о к а н а л а

Как и в случае передачи дискретных сигналов, пропускная способность непрерывного канала Сн определяется как макси­ мальное количество информации, которое может быть достоверно передано по каналу за одну секунду. Для дискретного канала

где К макс — количество независимых сообщений, которое может ^быть передано по каналу за 1 секунду.

В случае передачи непрерывного сигнала под Кмакс надо по­ нимать количество независимых дискрет, однозначно отображаю­ щих отрезок непрерывного сигнала длительностью в 1 секунду. Оно равно Кмакс=2/Г, где F — ширина полосы спектра сигнала.

Передаваемое сообщение отображается совокупностью дискрет хи х2.. х а, принимаемое — совокупностью дискрет у ь у2...уп.

Входящие в формулы (3.28) и (3.28,о) энтропии дискретного распределения могут быть аналогично (3.29) выражены через со­ ответствующие энтропии непрерывных распределений. Появляю­ щиеся при этом в уменьшаемом и вычитаемом бесконечные сла­ гаемые (соответствующие энтропии единичного распределения) взаимно уничтожаются и выражение для пропускной способности непрерывного канала принимает вид

либо

C„=2F\H*(Y)—Н*(У/Х)]макс. (3.51,а)

Напомним, что входящие в (3.51) и (3.51,а) значения энтропий характеризуют:

ществующую до того, как это сообщение было передано;

H*(Y) — среднюю относительную неопределенность того, какое сообщение будет принято, существующую до того, как это сооб­

H*(X,/Y) — среднюю относительную неопределенность того, ка­ кое сообщение передано, если известно, что принято сообщение у; Н (Y,X) среднюю относительную неопределенность того, ка­ кое сооощение будет принято, если известно, что передано сооб­

щение х.

Значения входящих в (3.51) и (3.51,а) условных энтропий ха­ рактеризуют среднюю потерю информации, возникающую под воз­ действием помех. Обусловленная помехами неопределенность в от­ счете уровня ограничивает при заданной мощности сигнала число различимых квантованных уровней.

При отсутствии помех в канале связи имеет место однозначное соответствие между сигналами на входе (х) и выходе канала (у). При этом, как указано выше (п. 3.6.2), условная энтропия H*(Y/X) обращается в —оси в соответствии с (3.51) пропускная способность непрерывного канала стремится к бесконечности. Смысл этого ре­ зультата заключается в том, что при отсутствии помех число раз­ личимых уровней может быть сделано сколь угодно большим. Каж­ дому из этих уровней может быть поставлено в соответствие за­ кодированное сообщение любой длины.

Рассмотрим простой пример, иллюстрирующий зависимость

кретные числа. Максимальный уровень импульсного сигнала со­ ставляет 10 вольт. Сигналы всех различимых уровней равнове­ роятны. Требуется определить среднее количество информации, приходящееся на одну дискрету в двух случаях: '

1)уровень помехи не превышает 0,5 в;

2)уровень помехи не превышает 0,5 мкв.

Р е ше н и е . Для того, чтобы соседние уровни были различимы, шаг квантования должен быть не меньшим, чем удвоенный уро­ вень помехи. Поэтому в первом случае при шаге квантования в 1 вольт число различимых уровней (включая нуль) n =l l . С их помощью можно передать одиннадцать чисел, содержащих от од­ ного до четырех двоичных разрядовКоличество информации, при­ ходящееся на дискрету, составит

Во втором случае «=106, что позволит передать около миллио­ на чисел, содержащих от одного до двадцати двоичных разрядов.

\

Таким образом, по мере уменьшения уровня помех количество информации, приходящееся на одну дискрету Д, а следовательно, и пропускная способность канала возрастают. При U 0 как Д, так и пропускная способность стремятся к бесконечности.

Это справедливо при любом законе распределения уровней сиг­ нала.

П р о п у с к н а я с п о с о б н о с т ь н е п р е р ы в н о г о к а н а л а с о г р а н и ч е н н о й с р е д н е й м о щ н о с т ь ю с и г н а л а при н а л и ч и и ф л ю к т у а ц и о н н ы х п о м е х

Определение пропускной способности канала при наличии флюктуационных помех представляет значительный практический интерес, так как этот вид помех является широко распространен­ ным и вместе с тем весьма опасным, поскольку он обладает наибольшей энтропией при заданной средней мощности.

Для определения пропускной способности воспользуемся выра­ жением

где

H*(Y) соответствует энтропии принятого сигнала; H * (Y /X )~ энтропии шума.

Последняя в соответствии с (3.44) равна

H *(Y/X)= ~logV2w N.

Поскольку величина Н*(У/Х) уже задана, максимум выраже­ ния в квадратной скобке будет при максимальном значении H*(Y). При ограниченной средней мощности максимум Н*(У) будет обе­ спечен в том случае, если сигнал будет обладать нормальным рас­ пределением вероятностей и независимостью определяющих орди­ нат в точках отсчета (дискрет). Итак, пусть сигнал й помеха име­ ют нормальные распределения с дисперсиями, равными чгс = Р

и <з2=/У. При этом принимаемое сообщение, представляющее со­

бой сумму сигнала и помехи, имеет также нормальное распреде­ ление с дисперсией

Подставив в (3.51) полученные значения Н*(У) и Н*(У/Х), полу­ чим

Это максимальная скорость, с которой может быть передана информация по непрерывному каналу с флюктуационной помехой при ограниченной средней мощности источника сообщений.

9 9