Лекции по ТПС

C V[log m p log m 1 (1 p) log(1 p)]. p

В частном случае двоичного канала, т. е. при т = 2:

C V[1 p log p (1 p)log(1 p)].

Зависимость пропускной способности от вероятности ошибочного приема представлена на рис. 17.1.

Рис.17.1

При р=1/2 С=0. Это ситуация так называемого обрыва канала, когда последовательности символов на входе и выходе канала независимы (в этом случае можно, например, значение символа на выходе определять бросанием монеты).

В случае р=0 (канал без шумов — ошибок не происходит) пропускная способность максимальна. Она максимальна и при р=-1 (инвертируя все выходные символы, можно получить правильный результат).

131

ПРОПУСКНАЯ СПОСОБНОСТЬ НЕПРЕРЫВНОГО КАНАЛА

Пусть канал имеет ограниченную частотой F полосу.

Сигналы U{t) на входе и Z(t) на выходе канала согласно теореме Котельникова определяются своими отсчетами, взятыми через интервалы времени 1/2F. Пропускная способность непрерывного канала Сот, приходящаяся на один отсчет, определяется (по аналогии с дискретным каналом) в виде:

Пропускная способность С в расчете на единицу времени определяется как сумма значений Сот, взятая по всем отсчетам за единицу времени (за 1 секунду). При этом, естественно, дифференциальная энтропия вычисляется с учетом вероятностных связей между отсчетами.

Рассмотрим непрерывный канал без памяти с аддитивным белым гауссовским шумом. Средняя мощность (дисперсия) сигнала U(t) не превышает заданного значения Рс. Мощность (дисперсия) шума N(t) в полосе F равна Рш. Отсчеты входного и выходного Z(t) сигналов и шума связаны между собой по формуле

Z U N .

Поскольку N имеет нормальное распределение с нулевым математическим ожиданием, то и условная плотность (Z /U) при фиксированном значении V соответствует нормальному распределению с математическим ожиданием V и дисперсией Рш. Определим пропускную способность, приходящуюся на отсчет,

Ранее получили для безусловной энтропии

h(Z ) log 2 ePш .

Можно показать, что условная энтропия

h(Z /U ) log 2 ePш ,

тогда

132

С учетом того, что из всех непрерывных случайных величин х с одинаковыми дисперсиями 2 наибольшую дифференциальную энтропию имеет случайная величина с нормальным распределением (см. п. 4.5), получаем

Переходя к вычислению пропускной способности С, заметим, что информация, переданная за несколько отсчетов, максимальна в том случае, когда отсчеты независимы.

Некоррелированными (а для гауссовских случайных величин независимыми) являются отсчеты, разделенные интервалом времени 1/2F. Число таких отсчетов в секунду 2F, поэтому С=2FCOT, тогда

C F log(1 Pс )

Pш .

Эту формулу называют формулой Шеннона.

Если бы мощность сигнала не была ограничена, то пропускная способность канала была бы сколь угодно большой. Пропускная способность равна 0, когда отношение Pc Pш 0 . С увеличением этого отношения пропускная способность растет, но относительно медленно (по логарифмической зависимости). Формула Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и наоборот. Но поскольку С зависит от F линейно, а отношения сигнал/шум Pc Pш - по логарифмическому закону, то компенсировать возможное сокращение полосы пропускания из-за наличия мощности сигнала невыгодно.

133

Рис.17.2

Максимальный объем информации, который можно в среднем передать по непрерывному каналу за время Тк,

ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ПОМЕХАМИ

Теорема кодирования — это фундаментальная теорема теории информации

— основная теорема кодирования Шеннона для случая дискретного источника.

При ее рассмотрении воспользуемся рис. 17.3

Рис.17.3

Если производительность источника сообщений Н'(А) меньше пропускной способности канала С, т. е. Н'(А) < С, то существует способ кодирования (преобразования сообщения в сигнал на входе канала) и декодирования (преобразования сигнала в сообщении на выходе), при котором вероятность ошибочного декоди-

^

рования и ненадежность H ' ( A / A) могут быть сколь угодно малы. Если же Н'(А)>С, то таких способов не существует.

134

Для восстановления по пришедшему сигналу переданного сообщения необходимо, чтобы сигнал содержал о нем информацию, равную энтропии сообщения I(А, В) = Н(А), следовательно, для правильной передачи сообщения необходимо, чтобы скорость передачи от источника сообщения к каналу была равна производительности источника I ' ( A, B) H ' (A) .

Поскольку скорость передачи информации не может превышать значение

пропускной способности канала C max I ' ( A, B) , постольку условие Н'(А)<С явля-

P( A)

ется необходимым для точной передачи сообщения. Является ли это условие достаточным?

Естественно, при С > Н(А) можно передавать такие сигналы, что величина

информации о сигнале В, а не о сообщении А, поэтому возникает вопрос: "Можно ли установить такое соответствие (код) между ансамблями А и В, чтобы вся информация, полученная на выходе канала о сигнале В, была в то же время информацией о сообщении A?». Положительный ответ на этот вопрос можно получить в простейшем случае, когда в канале отсутствуют помехи и сигнал принимается

^

безошибочно, тогда I ' (B, B) H ' (B) .

Если между ансамблями А и В есть однозначное соответствие, то по принятому сигналу можно однозначно восстановить сообщение. Если же в канале при-

^

сутствуют помехи и сигнал В принимается с ошибками, то I ' (B, B) H ' (B) , но скорость передачи информации от ансамбля сообщений к ансамблю сигналов на входе канала и скорость передачи информации по каналу очевидно должны быть

^

равны, т. е. I ' ( A, B) I ' (B, B) , I ' ( A, B) H ' ( A) . Поэтому Н'(В >Н'(А). Таким образом,

производительность источника сигналов должна быть больше производительности источника сообщений, т. е. ансамбль сигналов В кроме информации об ансамбле сообщений А должен содержать дополнительную собственную информацию. Часть информации об ансамбле сигналов В теряется в процессе передачи по каналу. Возникает вопрос: "Можно ли осуществлять кодирование так, чтобы терялась только дополнительная (избыточная) часть собственной информации ансамбля В, в то время как информация об ансамбле А сохранилась?" Теорема Шеннона дает на этот вопрос почти положительный ответ с той лишь поправкой, что скорость "утечки" информации Н'(А/А) не равна 0, но может быть сделана сколь угодно малой.

135

ЭПСИЛОН-ЭНТРОПИЯ

Для передачи непрерывного сообщения с абсолютной точностью необходимо передавать бесконечно большое количество информации, что естественно нельзя сделать за конечное время по каналу с конечной пропускной способностью. Тем не менее, непрерывные сообщения (телефонные, телевизионные, телеметрические) все же передаются, поскольку на практике никогда не требуется абсолютная точность воспроизведения. А для передачи, пусть с очень высокой, но ограниченной точностью, требуется конечное количество информации.

Пусть допустимая неточность воспроизведения измеряется некоторым малым параметром . Минимальное количество информации, которое требуется передать по каналу связи для того, чтобы воспроизвести непрерывное сообщение с неточностью не более допустимой, вслед за Колмогоровым называют -

энтропией.

Критерий может быть любым. Будем называть два варианта непрерывного сообщения, различающихся не более чем на , эквивалентными. Например, при телефонной связи один и тот же текст, разборчиво прочитанный разными дикторами, представляется эквивалентными сообщениями, хотя эти сообщения могут отличаться даже по спектру. Критерием эквивалентности здесь является разборчивость.

Будем считать сообщением первичный сигнал B(t). В большинстве случаев это случайный стационарный центрированный процесс с дисперсией В2 .

Под вероятностью передачи непрерывного сообщения будем понимать веро-

^

ятность того, что принятое сообщение b(t) эквивалентно переданному b(t). Теку-

^

щая погрешность воспроизведения (t) b(t) b(t) .

Примем, что среднее значение (t) 0 , т. е. систематическая погрешность отсутствует. Будем считать сообщения эквивалентными, если 2 (t) 0 .

Определим теперь -энтропию.

только от статистики процесса B(t), которую определяет дифференциальная энтропия

136

^

рый определяется условной вероятностью (B/ B) , а следовательно, и условной

^

дифференциальной энтропией h(B/ B) .

-энтропией называется минимальное количество информации, содержа-

^

Минимизация проводится по всем условным распределениям (b/ b) , для кото-

рых выполняется условие 2 (t) 0 .

Воспользуемся примером гауссовского источника.

С учетом того, что из всех непрерывных случайных величин х с одинаковыми дисперсиями 2 наибольшую дифференциальную энтропию имеет случайная величина с нормальным распределением получаем

При заданной мощности сигнала B2 дифференциальная энтропия гауссовского источника

Таким образом, -энтропия гауссовского непрерывного источника, приходящаяся на один отсчет,

137

^

шум", при котором сообщения B(t) и B(t) остаются еще эквивалентными.

Производительность источника непрерывных сообщений — это количество информации, которое необходимо передать в единицу времени для того, чтобы восстановить сообщение при заданном критерии эквивалентности.

Если источник выдает независимые отсчеты непрерывного сообщения дискретно со скоростью V, то его -производительность

-производительность называют также скоростью создания информации при заданном критерии верности.

Для источника непрерывных сообщений, ограниченных полосой Fc, согласно

в полосе Fc равномерен, то эти отсчеты можно считать некоррелированными, а для гауссовского источника независимыми

Количество информации, выдаваемое гауссовским источником за время Тс, определяется так:

равен максимальному количеству информации, содержащейся в сигнале длительностью

Тс .

Для канала с пропускной способностью С, ко входу которого подключен источник с -производительностью H ' (B) , Шеннон доказал следующую теорему: если при заданном критерии 02 эквивалентности сообщений источника сообщений его -производительность меньше пропускной способности канала, т. е.

138

H ' (B) C , то существуют способы кодирования и декодирования, при которых неточность воспроизведения сообщений на приемной стороне будет сколь угодно близка к 02 . Если H ' (B) C , то таких способов не существует.

Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом.

Оптимальное или рациональное кодирование непрерывных сообщений без их дискретизации во времени при передаче по непрерывному каналу пока не находит приемлемой реализации.

В простейшем случае, когда канал имеет полосу пропускания, охватывающую весь спектр сообщения, а уровень аддитивных помех достаточно низок, используется непосредственная передача непрерывного сигнала B(t) без модуляции (обычная телефонная связь в пределах одной АТС).

Если на выходе канала Pс 0 , то воспроизведенное сообщение будет экви-

Pш

валентно переданному. В общем же случае, как это следует из теоремы Шеннона, это условие не обязательно для восстановления сообщения с заданной точностью. Необходимо лишь, чтобы пропускная способность канала превышала - производительность источника. При этом условии можно преобразовать сообщение в сигнал таким образом, чтобы отношение мощности PB восстановленного сообщения к мощности шума воспроизведения P на выходе приемника было больше 0 , хотя в канале, т. е. на входе приемника имеет место отношение

Pс 0 , что достигается применением помехоустойчивых методов модуляции.

Pш

КОНТРОЛЬНЫЕ ВОПРОСЫ:

1.Какой непрерывный канал называется гауссовским?

2.От чего зависит пропускная способность непрерывного нормально распределенного канала?

3.Что характеризует ε-энтропия?

4.Что понимается под объемом непрерывного сигнала?

5.В чем смысл условия существования системы кодирования в теореме Шеннона?

139

ЛЕКЦИЯ 18. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ ПОМЕХОУСТОЙЧИВОГО КОДИРОВАНИЯ

Воздействие помех на сигналы систем передачи дискретных сообщений сопровождается их искажениями и возникновением ошибок в принимаемой дискретной последовательности. В состав каналов таких систем передачи входит решающее устройство приемника, способное давать ошибочные решения при больших значениях помех. Критерием оценки качества передачи в этих случаях является вероятность ошибочной передачи, при посимвольном приеме - вероятность ошибки при приеме одного символа pe и распределение ее во времени.

Доказательство К. Шенноном в 1948 г. возможности практически безошибочной передачи сообщений по каналам, в которых отдельные символы сообщений передаются с ошибками, основанное на введении избыточности кодированием, обеспечивающим выполнение условия H(A) ≤ С, явилось основой создания теории помехоустойчивого кодирования.

Конкретный способ кодирования выбирается исходя из того, что канал является односторонним или двусторонним, объемов и скорости передачи сообщений по каналу, статистики ошибок в канале (распределения вероятностей появления одиночных, двойных и т.д. ошибок).

Например, в одностороннем канале передачи, в котором переспрос принятого сообщения невозможен, простейшей и наименее эффективной формой введения избыточности является многократное повторение сообщения и принятие решения по большинству голосов (мажоритарное декодирование). Число повторений определяется кратностью ошибки, которую требуется исправить: ошибку первой кратности можно исправить повторив сообщение трижды, если только ошибка не повторяется в одном и том же символе сообщения при разных передачах; для исправления двойной ошибки, т.е. ошибки, повторяющейся дважды в одном и том элементе, требуется пятикратное повторение и т.д. Такой способ обеспечения верности передачи применим в системах с малым объемом и низкой скоростью передачи сообщений. При передаче больших объемов информации с высокой скоростью, например при записи и считывании информации в компьютерных системах, применяют различные методы помехоустойчивого кодирования.

140