2.8 Эпсилон-энтропия Гауссовского вектора сообщений

Как и в общем случае, рассмотренном выше, имеется вектор исходных сообщений (2.25), который можно аппроксимировать с помощью его цифрового эквивалента (2.26).

Пусть при выбранной мере качества (2.27) задаются ПВ вида , произведение которых определяет совместное распределение вероятностей множества, тогда-энтропией векторапри заданном критерии качества аппроксимации называется функция [4]

, (2.30)

где - множество условных ПВ, для которых выполняется условие

В дальнейшем будем полагать, что:

1)- квадратичная мера несоответствия;

2).

Координаты векторов x^(I)статистически независимы и их последовательность нестационарная, элементы которой подчиняются Гауссовскому закону.

В силу статистической независимости координат вектора средняя взаимная информация может быть определена следующим образом:

. (2.31)

Знак равенства достигается, когда координаты вектора исходного сообщения и его цифрового эквивалента независимы между собой, т.е. когда

. (2.32)

Отсюда -производительность (2.30) может быть представлена в виде

. (2.33)

Причем

(2.34)

а внутренний минимум ищется по множеству ПВ , для которых ошибка аппроксимации i^-йкоординаты исходного вектора X не превышает.

Внешний минимум в (2.33) ищется по всем ошибкам представления координат, для которых справедливо (2.34) с учетом введения среднеквадратической метрики (2.31). Так как слагаемые в (2.33) минимизируются независимо, то отсюда следует, что

где

. (2.35)

Здесь (2.35)- -энтропия случайной координаты, определенная ранее.

Поэтому имеем

, (2.36)

где удовлетворяет (2.34).

Так как величина -производительности является немонотонно возрастающей функцией, то при увеличении, с учетом того, что, условие (3.34) может быть переписано в виде:

. (2.37)

Задача минимизации (2.36) с учетом (2.37) определяется теоремой Куна-Таккера.

Согласно этой теореме, необходимым и достаточным условием того, что вектор минимизирует функцию

, (2.38)

является существование такого числа ,что

для любого такого что соответственно, (2.39)

таким образом, если будет определено значение, для которого справедливо (2.39), то соответствующие значения_i и будут обеспечивать минимизацию функции (2.38).

И если удается подобрать число и вектор, и при этом будет удовлетворяться (2.35) и (2.39), то этот вектор и будет минимизировать (2.38).

Доказательство:

Пусть - корень уравнения

. (2.40)

Пусть

. (2.41)

В этом случае можно показать, что вектор определяемый (2.41) с учетом (2.40), обеспечивает условие (2.39).

Покажем, что при

=const

система (2.39) справедлива.

Действительно,

так как для всех i, для которых

и для всех i, для которых

то .

То есть условия теоремы выполняются.

Тогда -производительность вектораравна

(2.42)

где - корень следующего уравнения (2.40).

Нетрудно обобщить определение -энтропии на Гауссовские вектора со статистически зависимыми координатами, у которых корреляционная матрица не является диагональной, т.е..

Это обобщение достигается путем ортогонального преобразования вектора на основе уравнения.

. (2.43)

При этом строками матрицы Q являются собственные вектора корреляционной матрицы, удовлетворяющие уравнению

. (2.44)

С учетом нормировки

(2.45)

и того, что ищутся как собственные числа уравнения (2.46)

. (2.46)

В этом случае

. (2.47)

Здесь - собственные числа, определяющие среднюю мощность i координат вектора.