2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени

Пусть X(t) и Y(t) два множества случайных процессов с нулевым средним заданные на конечном интервале t[0,T].Предполагается, что каждый из случайных процессов допускает разложение по системам полных ортогональных (ортонормированных) функций, т.е.

, (2.19)

где

. (2.20)

При этом сходимость такого разложения понимается в среднеквадратическом смысле. Допустим, что эти процессы могут быть заданы совместно с помощью ПВ вида

n=1,2….

Отсюда, для усеченного разложения указанных процессов, средняя взаимная информация имеет вид:

, (2.21)

где

. (2.22)

Тогда средняя взаимная информация между исходными процессами на интервале T определяется в виде:

. (2.23)

Если предел существует, то равенство (2.23) справедливо для любых полных систем ортонормированных функций.

Пример.

Пусть Y(t)=X(t)+Z(t), где X(t), Z(t) - независимые Гауссовские стационарные процессы с корреляционными функциямии,а- собственные функции, определенные в результате разложения Карунена-Лоэва.

, (2.24)

где и_i – собственные числа корреляционных ядеруравнения.

Если предположить, что система полных собственных функций идентична для X(t) и Z(t), что всегда справедливо для(асимптотическое поведение собственных функций Гауссовских процессов), то выражение для средней взаимной информации между процессами примет следующий вид:

,

где собственные числа (дисперсии коэффициентовиз (2.24)).

2.7 Квазиобратимое эффективное кодирование непрерывных источников

с заданным критерием качества

Для решения задач цифрового представления информационно-измерительных процессов в системах автоматизации необходимо их гарантированное восстановление по цифровому эквиваленту с заданной степенью точности.

Под квазиобратимостью понимается возможность восстановления процессов с заданной точностью при выбранном критерии восстановления.

В этом случае, как и в рассмотренном ранее случае обратимого кодирования дискретных сообщений, необходимо определить предельный минимальный объем информации, позволяющий закодировать процесс с заданной степенью точности, т.е. в этом случае говорят необходимо определитьпроизводительность процесса, гдестепень точности его цифрового представления.

Суть постановки задачи квазиобратимого кодирования для конечной последовательности процессов состоит в следующем: пусть источник непрерывных сообщений X образует последовательность

, (2.25)

которая аппроксимируется другой последовательностью

. (2.26)

Для установления соответствия между (2.25) и (2.26) введем неотрицательную функцию значения которой будем связывать с величиной ошибки аппроксимации процесса (2.25) цифрового представления с помощью (2.26).

При этом

, (2.27)

где является ошибкой цифрового представления i координаты вектора (2.25). Так как предложенная аппроксимация применяется к случайным последовательностям, то связь (2.25) и (2.26) описывается с помощью условной ПВ вида

В этом случае мерой ошибки аппроксимации будет являться функционал

. (2.28)

Здесь - априорная ПВ ограниченной последовательности сообщений, откуда с учетом (2.27) будем иметь

, (2.29)

где - средняя ошибка аппроксимации координатыее цифровым эквивалентом

Таким образом, задача определения e-производительности сводится к определению наименьшего числа бит, приходящихся в среднем на одно сообщение, для которого величина .