Теория Информации / 08 Кодирование в канале с шумом

2

При отсутствии помех в канале связи ошибок не происходит, что позволяет по принятому символу yi точно (безошибочно) восстановить символ XI . Действие помех разрушает однозначность отображения ϕ. Переданный символ xi в принципе при наличии помех может быть принят в виде любого символа алфавита Y (рис. 8.1б). В то же время если получен символ yi, то достоверно это означает лишь тот факт, что был передан один из возможных символов алфавита X (рис. 8.1в).

Если нам известны априорные статистические характеристики источника сообщений, а также характеристики помех, воздействующих на канал, то, получив сообщение, мы можем лишь узнать новое апостериорное распределение вероятности передачи различных сообщений), с помощью которого можно вычислить вероятность правильного решения о том, какое из возможных сообщений было передано. Таким образом, работа информационного канала с математической точки зрения, в конечном счете, сводится к изменению на приемной стороне распределения вероятностей передачи различных сообщений.

Ясно, что на практике мы не можем довольствоваться лишь вычислением апостериорного распределения, а аппаратура всегда строится таким образом, что в ней с тем или иным риском (вероятностью ошибки) принимается решение о том, какое сообщение было передано.

В схеме рис. 7.1 в случае воздействия помех нет однозначного соответствия между сигналами на входе канала связи (у) и сигналами на его выходе (z). При передаче сигнала yi выходные сигналы (z) могут принимать различные значения в зависимости от того, каков был шум в момент приема. В общем случае сигнал z может принимать непрерывное (бесконечно большое число) множество различных значений.

Для ослабления действия шумов в информационную систему вводят два дополнительных устройства— кодер II и декодер I (рис. 8.2). Назначение второго кодера состоит в реализации помехоустойчивого кодирования сигналов.

Рис. 8.2. Блок-схема дискретного канала связи с шумами

Назначение декодера I состоит в том, чтобы восстанавливать по принятому сигналу соответствующий сигнал на выходе кодера I.

Функции, выполняемые кодером I и декодером II, такие же, как в схеме на рис. 7.1.

Рассмотрим передачу дискретных сообщений по каналу с шумом более подробно. Для этого воспользуемся представлением сигналов в линейном пространстве. Ранее была определена математическая модель

3

сигнала в виде абстрактного математического пространства (пространства сигналов).

Естественно, что в пространстве сигнала точек должно быть не меньше, чем возможных сообщений источника информации. При равенстве числа точек и числа возможных сообщений между элементами пространства сигналов и элементами множества возможных сообщений устанавливается одно из возможных взаимно однозначных соответствий – некоторое отображение множества возможных сообщений в пространство сигнала. Это отображение реализуется в передатчике системы связи в форме соответствующего» правила преобразования сообщения в сигнал. Сигналы, представляемые в пространствах, число элементов которых равно числу возможных сообщений, обладают низкой устойчивостью к помехам.

Для повышения помехоустойчивости процесса передачи информации в системах связи используют сигналы с большим числом состояний, чем это необходимо для кодирования всех возможных сообщений, и, следовательно, число точек соответствующих пространств превышает число возможных сообщений. Тогда возникает вопрос: какие точки пространства сигнала сопоставлять возможным сообщениям источника информации?

На данный вопрос нельзя ответить однозначно. Ответ зависит от многих факторов: от статистических свойств потока сообщений, соотношения энергетических характеристик сигнала и помехи, статистических свойств помехи и др. Тем не менее имеются некоторые общие предпосылки.

Кодер вносит в сигналы избыточность, увеличивая длительность кодовых слов.

Число возможных последовательностей сразу резко увеличивается, но избыточность и состоит в том, что к отправке предназначаются не все из

них, а лишь р а з р е ш е н н ы е . Число всевозможных последовательностей длины п равно 2nH(X), а число разрешенных к отправке равно 2пН <

2пН(X) (считаем, что энтропия исчисляется в битах); Н – энтропия на символ во множестве разрешенных к отправке последовательностей («энтропия источника», или «скорость создания информации») , Н(Х) – энтропия на символ во множестве всевозможных последовательностей. В результате воздействия шумов какие-то из символов отправленной последовательности подменяются другими и на приемный конец поступает другая, отличная от отправленной, последовательность. Поскольку р(х\у) считается известным, каждой принятой последовательности соответствует 2nH(X|Y) возможно отправленных.

Декодирование (т.е. принятие решения о том, какая последовательность была отправлена) можно выразить как разбиение всего множества Y принимаемых последовательностей на 2nH подмножеств, сопоставляемых с разрешенными к отправке: если, например, принят сигнал i-й группы, то считается, что был послан i-й разрешенный сигнал, который тут же выдается в «чистом» виде получателю.

4

Рассмотрим вопрос о введении избыточности вторым кодирующим устройством на примере равномерного кода.

Пусть на выходе кодера I появляются двоичные кодовые слова одинаковой длины µ, соответствующие передаваемым сообщениям. Чтобы декодер I имел возможность обнаруживать и исправлять ошибки, 2-е кодирующее устройство по некоторому правилу добавляет µk корректирующих двоичных символов к каждому кодовому слову, поступающему на его вход. В результате получаются кодовые слова длиной µ + µk символов, которые затем передаются по линии связи с шумами, где некоторые символы искажаются (символ «1» подменяется символом «0», а символ «0» – символом «1»).

При этом число различных передаваемых кодовых слов меньше числа всех возможных кодовых слов, получаемых на выходе линии связи, т. е.

a N0 – N кодовых слов – запрещенные. Если в результате ошибок переданное (разрешенное) кодовое слово перейдет в одно из запрещенных, ошибка будет обнаружена декодером I при условии, что в его запоминающем устройстве хранятся все разрешенные кодовые слова. Если же в результате ошибок переданная комбинация превращается в одну из разрешенных, ошибка декодером I не обнаруживается.

Таким образом, корректирующий код, удовлетворяющий условию (8.1), способен в N(N0 – N) случаях обнаруживать ошибки из общего числа N0N. Однако если N << N0, разрешенные комбинации могут быть выбраны с учетом вероятностных свойств шума так, чтобы вероятность получения ошибочной разрешенной комбинации была очень мала. Другими словами, при N << N0 в результате ошибочного приема отдельных символов принятое кодовое слово, как правило, окажется запрещенным, что и укажет на ошибку.

Для принятия однозначного решения о том, какое кодовое слово было отправлено, в общем случае все множество принимаемых кодовых слов N0 разбивается по некоторому правилу на N подмножеств. Каждое подмножество отождествляется с одним из разрешенных кодовых слов. Если, например, принятое кодовое слово попало в i-е подмножество, считается, что было передано i-е кодовое слово. Задача состоит в том, чтобы выяснить, существуют ли такие правила введения корректирующих символов в передаваемые кодовые слова и разбиения на подмножества всех возможных принимаемых кодовых слов, при которых вероятность ошибочного приема будет как угодно мала, а скорость передачи как угодно близка к пропускной способности линии связи.

Эта задача в общем виде разрешается теоремами Шеннона о кодировании в присутствии шумов.

5

8.2. Количество информации, передаваемой по каналу связи. Взаимная информация и ее свойства

Количество информации, передаваемое по дискретному каналу связи, может быть определено через информационные характеристики ансамблей сообщений на входе и выходе канала, условные и совместные энтропии этих ансамблей. Свойства энтропии, условной энтропии кладутся в основу при введении важной теоретико-информационной характеристики канала — взаимной информации между сообщениями на его входе и выходе. Действительно, поскольку при наличии статистической связи между элементами a и b ансамбля {AB,p(a,b)} значение условной энтропии Н(А | В) в общем случае меньше безусловной и не превосходит ее, т.е. поскольку

(8.2) можно полагать, что наличие сведений о значении b снижает в среднем первоначальную неопределенность относительно ансамбля А. Назовем величину

(8.3) количеством информации в сообщении b В о сообщении а А. (Предполагается, что в ансамбле {АВ,р(а;b)} не существует элементов с нулевыми вероятностями.)

т.е. количество информации в сообщении а о сообщении b равно количеству информации в сообщении b о сообщении а. Введенное этим определением количество информации является симметрической функцией пары сообщений. Поэтому величину i(а; b) называют количеством взаимной информации между сообщениями а и b или просто взаимной информацией между этими сообщениями.

Формулам (8.3) и (8.4) можно придать симметрическую форму

(8.5) Определенная таким образом взаимная информация между сооб-

щениями a и b является случайной величиной на ансамбле АВ. Введем в рассмотрение ее математическое ожидание (см. § 5.7).

Математическое ожидание случайной величины i(a, b) называется средним количеством взаимной информации или просто взаимной информацией между ансамблями А и В и обознчается через 1{А, В):

(8.6) Поскольку взаимная информация между сообщениями была опре-

делена как разность собственных информации (безусловной и условной), а математическое ожидание собственной информации является по определению энтропией ансамбля, то можно записать:

6

(8.7)

Основные свойства средней взаимной информации между дискретными ансамблями. Наряду с уже отмеченным свойством симметрии I(A;В) = I(В;А), сформулируем следующие свойства, вытекающие из определения (8.6) и свойств 2 и 3 условной энтропии (см.гл. 5):

— средняя взаимная информация неотрицательна: 1(А; В) ≥ О, причем равенство имеет место тогда и только тогда, когда элементы ансамблей а А и b В статистически независимы. Доказательство этого утверждения можно провести, используя свойство (ln x ≤ x −1) натурального логарифма.

— средняя взаимная информация между ансамблями A и В не превосходит значений энтропии этих ансамблей:

(8.8) причем равенства в (8.8) имеют место, когда каждому фиксированному значению а А с вероятностью 1 соответствует определенное значение b В и наоборот.

Одно из важнейших свойств средней взаимной информации заключается в том, что в процессе преобразований сигналов в различных блоках канала она не может увеличиваться [1]. Это свойство может быть истолковано следующим образом. Пусть В — множество возможных сигналов на выходе некоторого блока канала, а А — множество различных передаваемых сообщений. Доказывается, что никакая обработка наблюдаемых сигналов, при которой производится детерминированное или случайное их преобразование, не может увеличить средней информации об интересующем нас объекте. Количество информации сохраняется, если преобразование обратимо.

8.3. Пропускная способность дискретного канала связи с шумами

Соотношения (7.1)–(7.3), определяющие скорость передачи и пропускную способность канала и линии связи, являются общими, и поэтому они применимы как для дискретных, так и для непрерывных каналов, как для каналов без шумов, так и для каналов с шумами. Разница заключается в способе вычисления количества информации, содержащейся в последовательности выходных сигналов ZT, о входных сигналах YT, т.е.

I(ZT, YT).

Для вычисления I(ZT, YT) можно использовать соотношения (5.30) или (5.31). Из этих соотношений получаем

Будем полагать, что шумы, действующие в канале связи, имеют эргодический характер. Это значит, что, например, при длительной многократной передаче сигнала уi сигналы z на выходе канала с вероятностью, как угодно близкой к единице, образуют типичную

7

последовательность. То же самое справедливо и при передаче эргодической последовательности различных сигналов у. При таком условии выход канала связи может рассматриваться как эргодический источник.

Для последовательности длительностью Т, содержащей М сигналов такого источника, имеем

где H(Z) – энтропия выходного сигнала или, точнее, энтропия выхода канала связи, рассматриваемого как эргодический источник.

Величина H(Z) может быть подсчитана по формуле, аналогичной (6.10),

При этом Ql и Qk обозначены характерные состояния выхода канала связи. Такое же соотношение получим и для вычисления условной энтропии

При этом p(Ql | Qk, yj) – условная вероятность перехода выхода канала связи из состояния Qk в состояние Ql при передаче сигнала yj.

Из (8.9), (8.10) и (8.12) следует, что

I(ZT, YT) = MH(Z) – MH(Z | Y).

При определении скорости передачи информации по (7.3’) учтем, что

8

−

В последнем равенстве H(Y ) - поток информации на выходе кодирующего устройства, H− (Y Z) характеризует потерю информации, обусловленную действием помех.

Из найденных соотношений и (7.3) следует, что пропускная способность канала связи при наличии помех может быть определена из условия

или

Оба определения равноправны и дают одно и то же значение Сс. Использование того или иного определения дикдуется удобством анализа. При отыскании оптимальных статистических характеристик передаваемых сигналов (у) необходимо иметь в виду следующее:

Характерные состояния выхода канала связи (Qk, Ql) могут определяться двумя обстоятельствами:

а) наличием фиксированных ограничений, т.е. запретов, накладываемых на допустимую последовательность передачи различных сигналов, и

б) коррелятивными связями между символами, вызываемыми действием шумов.

Каналы, у которых на каждый передаваемый сигнал (символ) шум воздействует независимоот того, какие сигналы передавались ранее, называются каналами без памяти. В этих каналах шумы не вызывают дополнительных коррелятивных связей между сигналами. В настоящее время основные выводы теории информации получены применительно к каналам без памяти.

Проиллюстрируем вычисление пропускной способности канала на следующем примере.

Пусть требуется определить пропускную способность канала связи, по которому передаются двоичные сигналы со скоростью vx, если вероятность превращения в результате действия помех каждого из этих сигналов в противоположный равна р (вероятность правильного приема, следовательно, 1 – р). Передаваемые сигналы предполагаются независимыми.

симметричным.

Средняя условная энтропия

= − p(x1)[(1− p)log(1− p)+ plog p]− p(x2 )[plog p + (1− p)log(1− p)]= = −[p(x1)+ p(x2 )][plog p + (1− p)log(1− p)].

Но p(x1) + p(x2) = 1. Поэтому

H(Y X) = -plog p – (1 – p)log (1 – p).

Отсюда видно, что H(Y X) не зависит от характеристик источника, т.е. от р(х1) и р(х2), и определятся только помехами в канале передачи.

Максимальное количество информации на один символ получается, следовательно, при таком распределении вероятностей р(хi), при котором оказывается максимальным член H(Y). Но H(Y) не может превосходить величины

Hm(Y) = log m = log 2

(что достигается при р(х1) = р(х2) = 1/2. Поэтому имеем:

max{I(Y, X) = log 2 + plog p + (1 – p)log (1 – p)

и, следовательно, пропускная способность

C = vx max {I(Y, X)} =

Отсюда следует, в частности, что при p = 0, т.е. при отсутствии шумов в канале, имеем максимальное значение С

10

Сmax = vx log 2.

При р = 1 также имеем детерминированный случай, когда сигналы х1 переводятся в сигналы х2 и наоборот с вероятностью, равной единице. При этом пропускная способность канала также максимальна.

Минимальное значение пропускная способность имеет при p = 1/2 (Cmax = 0 ).

Если на вход канала подаются сигналы от всех возможных источников дискретных сообщений с одинаковым количеством символов в единицу времени υ = 1/T и числом элементарных символов т, то выражение для С и, соответственно, для пропускной способности канала в расчете на единицу времени выглядит так:

Отсюда при т = 2 имеем (8.19).

8.4. Теоремы о кодировании в присутствии шумов

Результаты исследований, проведенных К. Шенноном и сформулированные им в виде теорем, показали, что во-первых, как бы ни были сильны шумы, можно создать условия, при которых возможна передача информации при сколь угодно малой вероятности ошибки (Первая и Обратная теоремы); и, во-вторых, при этом не потребуется прогрессивно понижать среднюю скорость передачи информации при повышении требований к малости вероятности ошибки (Вторая теорема).

Уточним условия работы системы связи, о которых будет идти речь. Имеется в виду стационарная система связи при определенном

предположении о соотношении между скоростью создания информации (производительностью источника) Н и пропускной способностью С канала (Н ≤ С). Предполагается, что потоки информации стационарны и что емкости запоминающих устройств кодирующей и декодирующей систем ограничены. Стационарность сигналов на входе системы связи позволяет рассматривать кодирование блоками произвольной длины. Далее, для простоты будем считать, что между последовательными ошибками не существует корреляции, вероятность искажения не зависит от того, был ли искажен предыдущий символ («канал без памяти»).

Первая теорема Шеннона о кодировании в присутствии шумов.

При любой производительности источника сообщений Н, меньшей, чем пропускная способность канала С, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки.

Хотя доказательство этой теоремы, предложенной Шенноном, в дальнейшем подвергалось более глубокому и строгому математическому