2.10.2. Канал связи с изменяющимися состояниями
Как было указано выше, канал характеризуется условными распределениями З2, задающими вероятности тех или иных искажений посылаемого сигнала х1. Несколько изменим схему канала связи, считая, что имеется некоторое множество Z возможных состояний z канала связи, причем если канал находится в некотором состоянии z и на входе возникает сигнал x1, то независимо от других предшествующих обстоятельств канал переходит в другое состояние z1. Этот переход подвержен случайностям и описывается условными распределениями P(C|x1, z) (P(C|x1, z) - вероятность того, что новое состояние z1 будет входить в множество C Z). При этом уже считается, что выходной сигнал х2 однозначно определяется состоянием канала z1, т.е. существует некоторая функция = (z) на пространстве z возможных состояний канала такая, что х2= (z1). Эта более общая схема позволяет учитывать те изменения, которые в принципе могут возникать в канале по мере его работы.
Рассмотрим стационарный режим работы канала связи. Предположим, что последовательно передаваемые сигналы …., 1(-1), 1(0), 1(1),…, соответствующие состояниям канала …, (-1), (0), (1),…, и определяемые ими сигналы …, 2(-1), 2(0), 2(1),…, на выходе образуют стационарные и стационарно связанные случайные последовательности. Величина С=supI( 1, 2), где I( 1, 2), означает скорость передачи информации о стационарной последовательности {1(n)} последовательностью { 2(n)} и верхняя грань берется по всем допустимым распределениям вероятностей входной последовательности {1(n)}, называется пропускной способностью канала связи.
Предположим, что поступающие на вход канала связи сообщения { 0(n)}, n =…, -1, 0, 1 ,…, образуют случайную последовательность. Будем считать правило кодирования заданным, если при всех k, m и k1,…, km k определены условные вероятности
P{ 1(k1) B1,…, 1 (km) Bm| 0(-∞ ,k)}
Того, что при поступлении последовательности сообщений
0(-∞ ,k) = …, 0(k-1), 0(k)
на соответствующих местах будут переданы сигналы 1(k1),…, 1(km), входящие в указанные множества B1, …, Bm. Эти вероятности считаются стационарными в том смысле, что они не меняются при одновременной замене индексов k и k1,…,km на k+l и k1+l,…,km+l при любом целом l. Аналогичными вероятностями p{ 3(k1) D1,…, 3(km) Dm| 2(-∞ ,k)} задается правило декодирования.
Определим величину H формулой H = inf I( 0, 3), где I( 0, 3) - скорость передачи информации о стационарной последовательности {0(n)} последовательностью {3(n)}, n = …, -1, 0, 1,… (эти последовательности предполагаются стационарно связанными), и нижняя грань берется по всем допустимым распределениям вероятностей, удовлетворяющим требованиям точности передачи {0(n)} { 3(n)}.
Неравенство H C является необходимым условием возможности передачи
{ 0(n)} { 1(n)} { 2(n)} { 3(n)}.
Напомним, что каждое сообщение 0(n) представляет собой некоторый элемент х0 из совокупности Х0. Можно интерпретировать Х0 как некоторый алфавит, состоящий из символов х0. Предположим, что этот алфавит Х0 является конечным и требование точности передачи состоит в безошибочном воспроизведении передаваемых символов:
P{ 3(k) = 3(k)} =1 для любого целого k.
Предположим также, что имеется лишь конечное число входных сигналов х1 и состояний канала z. Обозначим состояния канала целыми числами 1, 2, …, N, и пусть p(k, x1,j) - соответствующие вероятности перехода из состояния k в состояние j при входном сигнале x1:
p(k,x1,j) = P{ (x+1) = j| (n)=k, 1(n+1)=x1}.
Дополнительно предположим, что любые произведения вида
p(k0,x1(1),k1)p(k1,x1(2),k2)… p(kn-1,x1(n),kn)
являются стохастическими матрицами, задающими эргодические цепи Маркова. Это условие будет выполнено, если, например, каждая из переходных матриц {p(k,x1,j)} имеет положительный коэффициент эргодичности. Тогда при выполнении неравенства H<C и соблюдении условия эргодичности стационарной последовательности { 0(n)} сообщений на входе передача возможна с точностью до любого >0, т.е. при соответствующих способах кодирования и декодирования принимаемая последовательность сообщений { 3(n)} будет обладать тем свойством, что p{3(k) 0(k)} < для любого целого k.
Пусть 1 = {
(t), t T1} и
2= { (t), t
T2} - два семейства случайных
величин, имеющих совместное гауссово
распределение вероятностей, и пусть H1
и H2 - замкнутые линейные оболочки
величин (t), t T1,
и (t), t T2,
в гильбертовом пространстве L2
(). Обозначим буквами
P1 и P2 операторы проектирования
на пространства H1 и H2 и
положим P(1) = P1P2P1,
P(2) = P2P1P2. Количество
информации I(1,
2) о семействе величин 1,
содержащееся в семействе 2,
конечно тогда и только тогда, когда один
из операторов P(1) или P(2)
представляет собой ядерный оператор,
т.е. последовательность
1, 2,…
его собственных значений (все они
неотрицательны) удовлетворяет условию
.
При этом
.
В случае, когда 1 и 2 образованы конечным числом гауссовых величин:
1={ (1),…, (m)}, 2 = { (m+1),…, (m+n)}, причем корреляционная матрица B общей совокупности (1),…, (m+n) является невырожденной, количество информации I( 1, 2) может быть выражено следующей формулой:
,
где B1 и B2 - корреляционные матрицы соответствующих совокупностей 1 и 2.
Гауссовы распределения обладают следующим экстремальным свойством. Для произвольных распределений вероятностей величин
1 = { (1), …, (m)} и 2 = { (m+1), …, (m+n)}
с соответствующими корреляционными матрицами B1, B2 и B количество информации I( 1, 2) удовлетворяет неравенству
Пусть = ( 1,…, n) и = ( 1,…,n) - векторные случайные величины в n-мерном евклидовом пространстве X и (x,y) - некоторая неотрицательная функция, определяющая условие близости величин и , которое выражается следующим соотношением:
M, ) .
Величину H=H, определенную как H = inf I(, ), обычно называют -энтропией случайной величины (нижняя грань берется по всем случайным величинам , удовлетворяющим указанному условию -близости случайной величине ).
Пусть (x,y) = (|x-y|) и существует производная ’(0), 0<’(0)<∞. Тогда при 0 имеет место асимптотическая формула, в которой логарифмы берутся по основанию e:
где () - гамма функция и h - дифференциальная энтропия случайной величины :
(p(x) - плотность
распределения вероятностей, удовлетворяющая
весьма широким условиям, которые
выполняются, например, если плотность
p(x) ограничена
и h( ) > -∞ ).
Пусть
(,
> 0)
Тогда
В частности, при =2, =1 имеет место асимптотическая формула
Пусть пара случайных процессов (
1(t),
2(t)) образует стационарный
в узком смысле процесс,
[u,v] - совокупность значений
(t), u
t v, и
пусть
-
условное количество информации о
процессе 1=
,
содержащееся в отрезке
процесса
2.
Среднее количество указанной информации
представляет собой линейно растущую
функцию от t:
Фигурирующая здесь величина I(, ) называется средней скоростью передачи информации стационарным процессом о стационарном процессе 1 или просто - скоростью передачи информации.
Скорость передачи информации I(1,2)
обладает рядом свойств, аналогичных
свойствам количества информации. Но
она имеет и специфические свойства. Так
для всякого сингулярного случайного
процесса 2,
т.е. такого процесса, все значения
2(t) которого являются
функциями от совокупности величин
(t0
может быть выбрано любым), имеет место
равенство I(
1,
2)=0.
Для всякого регулярного случайного процесса 2 равенство I(1,2)=0 справедливо лишь тогда, когда случайный процесс 1 не зависит от процесса 2 (это говорит о том, что в некоторых случаях I(1,2) I( 2, 1) ).
При дополнительных условиях типа регулярности скорость передачи информации I( 1, 2) совпадает с пределом
,
где
-
количество информации об отрезке
процесса
,
заключенное в
.
Так будет, например тогда, когда время
меняется дискретно, а отдельные величины
1(t) и 2(t)
могут принимать лишь конечное число
различных значений или когда распределение
вероятностей процессов 1
и 2 является
гауссовым. В случае непрерывного времени
t так будет для гауссовых процессов,
когда спектральная плотность f()
процесса 2(t)
удовлетворяет условию
0< c 2nf( ) c < ∞
Пусть стационарный процесс = (t) представляет собой последовательность величин, каждая из которых принимает значения из некоторого алфавита x, состоящего из конечного числа символов x1, x2,…,xn. Предположим, что вероятность появления на фиксированном месте определенного символа xi есть pi, а вероятность появиться за ним символу xj не зависит от предшествующих xi значений и есть pij:
P{ (t) = xi} = pi, P{(t+1) = xi xi|(t) = xi, (t-1),…, } = pij
Другими словами = (t) - стационарная цепь Маркова с переходными вероятностями {pij} и стационарным распределением {pi}. Тогда скорость передачи информации стационарным процессом (t) будет
I(,)
= -
В частности, если = (t) - последовательность независимых величин (в случае pij = pj), то
I(,)
= -
Пусть 1 = 1(t) и 2 = 2(t) - стационарные гауссовы процессы со спектральными плотностями f11(), f22() и взаимной спектральной плотностью f12() причем процесс 2 = 2(t) является регулярным. Тогда
I(1,
2)
= -
Рассмотрим следующее условие близости гауссовых стационарных процессов 1(t) и 2(t):
M|1(t) - 2(t)|2 2
Наименьшая скорость передачи информации H = infI(1,2), совместимая с указанным условием “-точности”, выражается следующей формулой:
где
,
а параметр 2 определяется из равенства
.
Эта формула показывает, какого типа спектральная плотность f22() должна быть у регулярного стационарного процесса 2(t), который несет минимальную информацию I (1, 2) H о процессе 1(t). В случае дискретного времени, когда f11( ) 2 при всех , - , нижняя грань H скорости передачи достигается для такого процесса 2 (t) (со спектральной плотностью f22(), задаваемой приведенной выше формулой), который связан с процессом 1(t) формулой 2(t) = 1(t) + (t), где (t) - стационарный гауссов шум, не зависящий от процесса 2(t); в общем случае формула f22() задает предельный вид соответствующей спектральной плотности регулярного процесса 2(t).
В случае, когда спектральная плотность f11() приближенно выражается формулой
соответствующая минимальная скорость
передачи информации H
может быть вычислена по приближенной
формуле
,
2 = M[(t)]2.