книжка умняшкина по моцос

Если для некоторых непрерывных источников информации X, Y: H(X)<H(Y), то при достаточно малом шаге квантования u ошибки кван-

ˆ

X потребуется примерно на Hγ–Hτ большее число бит, чем необходимо

ˆ

для кодирования Y - это следует из (14). Оценку абсолютного значения битовых затрат по энтропии (15) дать уже нельзя.

На непрерывный источник информации можно распространить и понятие условной энтропии. Так, если X, Y – непрерывные источники информации (или случайные величины непрерывного типа), то частной условной энтропией источника Y, соответствующей реализованному состоянию x источника X, называем величину:

+∞

H (Y | x) = − ∫ f ( y | x) log f ( y | x)dy ,

−∞

где f(y|x) - условная плотность распределения вероятностей, определяемая по совместной плотности распределения f(x,y):

f ( y | x) = f (x, y) fX (x) ,

где

+∞

fX (x) = ∫ f (x, y)dy

−∞

- безусловная плотность распределения случайной величины X. Условной энтропией источника Y по X называем величину

+∞

H (Y | X ) = ∫H (Y | x) f X (x)dx .

−∞

Вновь, как можно показать, для энтропии ансамбля источников верно:

+∞ +∞

H(X,Y ) = − ∫ ∫ f (x, y)logf (x, y)dxdy = H(X ) +H(Y | X ) = H(Y ) +H(Y | X ) .

−∞ −∞

122

Глава 6.

Теоретические основы применения ортогональных преобразований для представления дискретных сигналов

6.1. Корреляция как мера статистической зависимости данных

Пусть X = (X 0 ,K, X N −1 )T - случайный вектор, состоящий из отсчё-

тов дискретного сигнала во временной области. Для реальных физических процессов соседние отсчёты вектора обычно имеют близкие значения, т.е. между компонентами вектора имеется статистическая зависимость. В терминах главы 5 дискретный сигнал можно рассматривать как сообщение, созданное непрерывным источником информации с памятью (если отсчёты проквантованы, то дискретным источником с памятью).

Зависимость между случайными величинами X и Y можно характеризовать ковариацией: cov(X ,Y ) = M[( X − mX )(Y − mY )], где mX, mY –

математические ожидания случайных величин X и Y соответственно. Если cov(X,Y)≠0, то говорят, что случайные величины коррелированны. Из коррелированности случайных величин следует их зависимость. Обратное, вообще говоря, не верно. Например, пусть X R(-1;1) (равномерное распределение), Y=X2. Несмотря на наличие полностью детерминированной функциональной зависимости между случайными величинами X и Y имеем: cov(X,Y)=0 (убедитесь!), т.е. X и Y некоррелированы. Однако на практике наличие или отсутствие статистических зависимостей часто ограничивают рассмотрением именно корреляционных связей. При этом в качестве меры зависимости случайных величин удобно ис-

пользовать коэффициент корреляции ρ(X ,Y )= cov(X ,Y ) DX DY , где

DX, DY – дисперсии случайных величин X, Y. Коэффициент корреляции может принимать значения из диапазона ρ [-1;1], чем ближе к единице абсолютная величина коэффициента корреляции |ρ|, тем сильнее зависимость между случайными величинами, а при |ρ|=1 реализация одной случайной величины позволяет указать точное значение другой.

В рамках корреляционной теории для описания математической модели вектора данных X = (X 0 ,K, X N −1 )T необходимо задать вектор

123

всегда симметрическая, положительно определена, а ее диагональные элементы представляют собой дисперсии компонент случайного вектора. Считая X, mX векторами-столбцами, ковариационную матрицу мож-

но записать как KX = Μ[(X − mx )(X − mx )T ] .

Для реальных дискретных сигналов в большинстве случаев соседние отсчёты имеют близкие значения, т.е. корреляция между близко

меньше j. Вследствие наличия межкомпонентных связей в векторе X независимое покомпонентное статистическое кодирование компонент (отсчётов дискретного сигнала), следующее за их квантованием, порождает избыточные, неэффективные коды (см. раздел 5.4, пример 5.9). Учёт статистических зависимостей при построении эффективных кодов технически сложен из-за больших размерностей моделей, описывающих совместные распределения вероятностей компонент вектора X. По этой причине один из методов, предложенных для повышения эффективности кодирования дискретных сигналов, представляет собой кодирование с предсказанием сигнала и заключается в следующем. По уже каким-то образом закодированным проквантованным отсчётам дискретного сигнала xˆk −m ,K, xˆk −1 составляется прогноз pk = p(xˆk −m ,K, xˆk −1) (например, в виде экстраполирующего полинома) для значения отсчёта xk, а квантованию и кодированию подвергается ошибка прогноза: ∆k=xk-pk. В простейшем случае используется экстраполирующий полином нулевого порядка, когда прогноз имеет вид: pk=xk-1, т.е. квантованию и кодированию подвергаются первые разности ∆k=xk-xk-1 дискретного сигнала – этот метод кодирования называют дифференциальной импульснокодовой модуляцией (ДИКМ). Естественно ожидать повышение эффективности кодирования при построении прогноза по большему количеству предыдущих отсчётов, однако это влечёт и усложнение вычислений.

Более общий подход, который используется для повышения эффективности кодирования дискретных сигналов, состоит в предварительной обработке исходных данных при помощи обратимого преобразования F, переводящего вектор X в некоторый вектор Y=F{X}, компоненты которого менее зависимы (в рамках корреляционной теории – менее корре-

124

лированны). Тогда независимое покомпонентное кодирование вектора Y, а не вектора X, становится более обоснованным. Вектор Y будем называть вектором трансформант (от англ. transform - преобразование).

6.2. Преобразование Карунена-Лоэва

Итак, пусть для вектора данных X известна ковариационная матрица KX и вектор математических ожиданий компонент

mX = Μ(X) = (mX 0 ,K, mX N −1 )T . Пусть вектор Y получен из вектора X в результате некоторого линейного преобразования, которое определяется матрицей W: Y=WX. Наша задача состоит в том, чтобы ослабить (в идеале – исключить) межкомпонентную зависимость данных в векторе Y. Поскольку статистическую зависимость мы отождествили с коррелированностью, это означает, что необходимо добиться некоррелированности данных в векторе Y, т.е. того, чтобы ковариационная матрица вектора Y приняла диагональный вид. Возможно ли это? Для ответа на данный вопрос найдем сначала выражение для ковариационной матрицы вектора Y.

Напомним два утверждения, известных из курса линейной алгебры.

1.Если матрица A размерности n×n обладает линейно независимыми собственными векторами r1,…,rn, то матрица B=C-1AC будет иметь диагональный вид тогда, когда матрица C составлена из собственных векторов-столбцов A: C=(r1r2…rn).

2.Если, к тому же, матрица A – симметрическая, то матрица C из

нормированных ( rk Е =1 , k=1,…,n) собственных векторов – ортогональна и C-1=CT.

125

Отсюда (см. также (1)) следует, что ковариационная матрица KY вектора Y=WX будет иметь диагональный вид, если матрицу W составить из собственных векторов (векторов-строк!) ковариационной матрицы KX вектора X, при этом матрица W будет ортогональна в силу симметричности KX. Данное (ортогональное!) преобразование, приводящее матрицу KY к диагональному виду, называется преобразованием Карунена-

Лоэва.

Таким образом, если для характеристики зависимостей между компонентами вектора данных X используется корреляционная модель, то по заданной ковариационной матрице вектора X при помощи ортогонального преобразования Карунена-Лоэва можно получить вектор Y=WX, компоненты которого полностью не коррелированы. В рамках корреляционной модели мы считаем компоненты вектора Y независимыми, поэтому с точки зрения эффективности кодирования независимая покомпонентная обработка (квантование и статистическое кодирование) вектора Y становится обоснованной.

Однако возможности практического использования преобразования Карунена-Лоэва существенно ограничиваются следующими факторами. Прежде всего, преобразование Карунена-Лоэва является неуниверсальным: матрица преобразования W жестко определяется конкретной ковариационной матрицей KX. Применяя для обрабатываемого сигнала модель случайного процесса, обычно нельзя говорить о его стационарности, т.е. корреляционные зависимости между отсчётами дискретного сигнала меняются, и различные выборки из дискретного сигнала (векторы данных X) могут иметь существенно различающиеся ковариаци-

«средней» ковариационной матрицы KX для построения преобразования Карунена-Лоэва не позволяет говорить об оптимальности последнего для каждого отдельного вектора X – очередной выборки из дискретного сигнала. Другая проблема, связанная с использованием преобразования Карунена-Лоэва, заключается в отсутствии быстрых алгоритмов его вычисления.

126

6.3. Эффективность использования дискретных ортогональных преобразований для кодирования коррелированных данных

Преобразование Карунена-Лоэва является оптимальным в том смысле, что позволяет добиться полной декорреляции данных в преобразованном векторе Y=WX, но отсутствие быстрых алгоритмов вычисления и зависимость параметров оптимального преобразования Каруне- на-Лоэва от структуры матрицы KX вынуждают использовать на практике другие ортогональные преобразования. При этом общую схему кодирования и декодирования дискретного сигнала можно представить в следующем виде (см. рис. 6.1).

а)

б)

Рисунок 6.1. Схема сжатия (а) и восстановления (б) коррелированных данных с использованием ортогонального преобразования

Наличие этапа квантования компонент вектора трансформант Y (будем также называть этот вектор спектром, понимая данный термин

(

новленные данные – вектор X (см. также пример 8 из главы 3), которая может быть снижена до пренебрежимо малого уровня за счет квантования спектральных компонент с большим количеством уровней квантования. Кодирование спектра Y, а не исходного вектора X, позволяет во многих случаях получить существенно меньшие битовые затраты. Критерий, по которому может быть оценена эффективность применения вещественных ортогональных преобразований для целей кодирования, основан на следующих рассуждениях.

127

+∞

∫ fk0 (x)log fk0 (x)dx ≈ Const .

−∞

Мы будем использовать менее жесткое ограничение, а именно:

1 N −1+∞

N k∑=0−∫∞fk0 (x)log fk0 (x)dx ≈Const .

Среднюю энтропию (2) одной компоненты вектора трансформант можем записать тогда в следующем виде:

где С - некоторая константа, не зависящая от вида используемого преобразования и его размерности.

понент Yk являются диагональными элементами матрицы KY=WKXWT и могут быть найдены по формуле (убедитесь!):

Лемма 1. Для всех ортогональных преобразований след ковариацион-