2.10 Статистическая теория каналов связи Семенов ю.А. (гнц итэф)

Данная статья имеет целью познакомить с терминологией и математическими основами статистической теории передачи данных. Именно на этой математической основе зиждятся приведенные выше теоремы Шеннона и Найквиста. Статья является компиляцией из нескольких источников (Ю.В.Прохоров, Ю.А.Розанов "Теория вероятностей. Основные понятия, предельные теоремы, случайные процессы" Наука, М. 1967; Л.Ф. Куликовский, В.В.Мотов, "Теоретические основы информационных процессов", Высшая школа, 1987; Р. Галлагер "Теория информации и надежная связь" Советское радио, 1974 и др.). Материалы, предлагаемые здесь не могут считаться исчерпывающими и призваны быть поводом для более углубленного изучения по существующим монографиям.

Канал связи предназначен для транспортировки сообщений. Математическая модель канала связи описывается некоторой совокупностью Х₁ элементов х₁ (X₁ = {x₁₁, x₁₂,, …x_1j}), называемых сигналами на входе канала, совокупностью Х₂ элементов х₂ (x₂ = {x₂₁, x₂₂,, …x_2k}), называемых выходными сигналами, и условными распределениями вероятностей p₂=p₂(a₂ |x₁) в пространстве x₂ выходных сигналов x₂. Если посланный сигнал (сигнал на входе) есть х₁, то с вероятностью P₂=P₂(A₂|x₁) на выходе канала будет принят сигнал х₂ из некоторого множества A₂  Х₂ (распределения задают вероятности того или иного искажения посланного сигнала х₁). Совокупность всех возможных сообщений обозначим символом x₀. Предполагается, что каждое из сообщений x₀ X₀ может поступать с определенной вероятностью. То есть, в пространстве X₀ имеется определенное распределение вероятностей P₀=P₀(A₀ ).

Сообщения х₀ не могут быть переданы по каналу связи непосредственно, для их пересылки используются сигналы x₁ X₁. Кодирование сообщений х₀ в сигналы х₁ описывается при помощи условного распределения вероятностей P₁=P₁(A₁ |x₀). Если поступает сообщение х₀, то с вероятностью P₁=P₁(A₁|x₀) будет послан один из сигналов х₁, входящих в множество A₁  Х₁ (условные распределения P₁(A₁|x₀) учитывают возможные искажения при кодировании сообщений). Аналогичным образом описывается декодирование принимаемых сигналов х₂ в сообщения x₃. Оно задается условным распределением вероятностей P₃=P₃(A₃|x₂) на пространстве Х₃ сообщений х₃, принимаемых на выходе канала связи.

На вход канала связи поступает случайное сообщение ₀ с заданным распределением вероятностей P₀=P₀(A₀). При его поступлении передается сигнал ₁, распределение вероятностей которого задается правилом кодирования P₁=P₁(A₁|x₀):

P{₂  A₂|₀, ₁} = P₂(A₂|₁)

Принятый сигнал ₂ декодируется, в результате чего получается сообщение ₃:

P{₃  A₃|₀, ₁, ₂} = P₃(A₃| ₂)

Последовательность ₀  ₁  ₂  ₃ является марковской. При любых правилах кодирования и декодирования описанного типа имеет место неравенство:

I(_0,₃)  I(_1, ₂),

где I(_0, ₃) - количество информации о ₀ в принятом сообщении ₃, I(_1, ₂) - количество информации о ₁ в принятом сигнале ₂.

Предположим, что распределение вероятности входного сигнала ₁ не может быть произвольным и ограничено определенными требованиями, например, оно должно принадлежать классу W. Величина C = sup I(( ₁ , ₂) , где верхняя грань берется по всем возможным распределениям P1  W, называется емкостью канала и характеризует максимальное количество информации, которое может быть передано по данному каналу связи (теорема Шеннона).

Предположим далее, что передача сообщений ₀  ₃ должна удовлетворять определенным требованиям точности, например, совместное распределение вероятностей P_{0 1} передаваемого и принимаемого сообщений ₀ и ₃ должно принадлежать некоторому классу V. Величина H= inf I( ₀ ₃), где нижняя грань берется по всем возможным распределениям P_{0 3}  V, характеризует минимальное количество информации, которое должно заключать в себе принимаемое сообщение ₃ о ₀, чтобы было выполнено условие точности передачи. Величина H называется энтропией источника сообщений.

Если возможна передача ₀  ₁  ₂  ₃ с соблюдением требований V и W, то есть существуют соответствующие способы кодирования и декодирования (существуют условные распределения P₁, P₂ и P₃), то H  С.

Для выполнения этого неравенства передача является возможной, т.е. возможна передача последовательно поступающих сообщений

Предположим, что совокупность Х₀ всех возможных сообщений х₀ является дискретной (имеется не более чем счетное число различных сообщений x₀, поступающих с соответствующими вероятностями P₀(x₀), x₀  X₀) и условие точности передачи v состоит в том, что принимаемое сообщение ₃ должно просто совпадать с переданным сообщением ₃ = ₀ с вероятностью 1. Тогда

Предположим далее, что имеется лишь конечное число N различных входных сигналов х₁ и нет никаких ограничений на вероятности P{ ₁ = x₁}, x₁     X₁. Кроме того, предположим, что передаваемые сигналы принимаются без искажений, то есть с вероятностью 1 ₂= ₁. Тогда емкость канала выражается формулой C = log₂N, т.е. передаваемое количество информации I(₁, ₂ ) будет максимальным в том случае, когда сигналы x₁  X₁ равновероятны.

Если сообщения поступают независимо друг от друга, то количество информации, которое несет группа сообщений есть

группа сообщений, поступающая на кодирование с вероятностью

Пусть H<C, положим также =(1/2)(C-H). Согласно закону больших чисел, примененному к последовательности независимых и одинаково распределенных случайных величин

с математическим ожиданием для любого  >0 найдется такое n(), что при всех n  n( )

P{-H- (1/n)logP(  _0n)  H+ }  1-, где

Полученное неравенство говорит о том, что все группы сообщений х_0n можно разбить на два класса. К первому классу относятся высоковероятные сообщения х_0n, для которых P(x_0n)  2^{-n(H+ )} и количество которых M_n не больше чем 2^{n(H+ )}:

M_n  2^{n(H+ )}

Ко второму классу относятся все остальные маловероятные сообщения х_0n: .

Каждую группу высоковероятных сообщений х_0n можно в принципе передать, закодировав ее соответствующей комбинацией сигналов . Число всевозможных комбинаций такого вида есть N_n=2^nC, и видно, что M_n<N_n. Имеется N_n различных сигналов x_1n, с помощью которых можно закодировать и передать безошибочно все M_n высоковероятных сообщений x_0n Если в дополнение к этому при поступлении любого маловероятного сообщения x_0n передавать некоторый один и тот же сигнал (отличный от сигналов, при помощи которых передаются высоковероятные сообщения x_0n , то с вероятностью, не меньшей чем 1-, на выходе канала связи будет приниматься последовательность :

.

При выполнении неравенства H < C оказывается возможной передача достаточно длинных сообщений с той оговоркой, что с вероятностью  ( - наперед заданное сколь угодно малое положительное число) может быть допущена ошибка. Имеется целое семейство каналов связи и источников сообщений, зависящих от параметра n.

Количество информации I(₀, ₃) для абстрактных случайных величин ₀ и ₃ со значениями в пространствах Х₀ и Х₃ может быть записано в виде:

I(₀, ₃) = Mi(₀,₃), где

- информационная плотность. Последовательность пар (_0n,_3n) называется информационно устойчивой, если при n  ∞

I(₀,₃)  ∞ и (по вероятности)

Рассмотренная выше последовательность (_0n,_3n), _3n=_0n поступающих сообщений  _0n =( ) обладает свойством информационной устойчивости, что в конечном счете и определило возможность передачи сообщений  _0n с точностью до . Этот факт допускает широкое обобщение. Например, если С_n - пропускная способность канала _1n _2n, H_n - минимальное количество информации, необходимое для соблюдения требуемой точности передачи _0n  _3n, причем

(при n  ∞),

и существуют информационно устойчивые последовательности пар (_0n,_3n) и (_1n,_n), для которых одновременно

то при весьма широких предположениях для любого наперед заданного  >0 существует такое n(), что по всем каналам связи с параметром n  n() возможна передача с точностью до .