книги из ГПНТБ / Кавалеров, Г. И. Введение в информационную теорию измерений

Таким образом, .при любом выборе параметров кван­ тователя средние штрафы при квантовании случайных сигналов с плотностями, удовлетворяющими неравенст­ ву (6-16), при 62<ei/Lo различаются меньше чем на въ т. е.

. x N; Zj, ..., 2д,)

Но если две функции ни в одной точке не различа­ ются более чем на ей то это ■справедливо и для их мини­ мумов (даже если они соответствуют различным значе­ ниям параметров). Итак, из (6-16) с ег<еі/Іо следует, что

Следовательно, если вектор (хи ..., xn- u Z\, ..., z^) доставляет минимум (6-14) при некотором распределе­ нии вероятностей w(x), то квантователь с этими пара­ метрами будет .близким к оптимальному в случае незна­ чительной неточности априорных данных (в то же время следует иметь в виду, что зависимость параметров опти­ мального квантователя от исходных данных не обяза­ тельнонепрерывна).

Точно так же можно показать, что при «незначитель­ ном» изменении критерия оптимальности, т. е. функции ср(х, z), квантователь, оптимальный в одном случае, бу­ дет -близким к оптимальному в другом (см. [Л. 6-13]).

Предположим, что функция ср(х, z) при любом фикси­ рованном X есть функция z, симметричная относительно точки z=x; пусть далее w(x) непрерывна и положитель­ на на всем отрезке [х0, xN]. Тогда можно получить про­ стые необходимые условия для того, что вектор (хи ..

.. ., xn- ü Zu . . . , zN) доставляет минимум выражению (6-14). Действительно, -вычислим частные производные от правой части (6-14):

233

Так как, по нашему предположению, w(x) >0, то пра­ вая часть (6-22) обращается в нуль тогда и только тог­ да, когда

но ввиду симметричности функции ср(х, z) и ее строгой монотонности на jnacTKax д-> 2 н x< z (6-23) эквивалент­ но тому, что

Так как очевидно, что при сделанных предположе­ ниях минимум функции (6-14) не может достигаться на границе области допустимого изменения параметров квантователя, то оптимальная совокупность параметров удовлетворяет системе уравнений (6-25), (6-26). Этот факт был впервые отмечен в (Л. 6-16]. Отметим одну важную особенность этой системы: при фиксированных значениях точек отнесения z,, . . ., zN уравнения (6-25) представляют собой не только необходимое, но и доста­ точное условие минимума функции Чт (хь ..., xn- ü Z\, ...,

..., zN) (при фиксированных гь ..., zN), то же самое верно и относительно уравнения (6-26). Заметим еще, что условие дифференцируемости функции штрафов ча­ сто является несущественным: при выводе уравнений (6-25) оно не требуется, для определения же оптималь­ ных точек отнесения при фиксированных значениях по­ рогов иногда удается обойтись без уравнений (6-26). Например, если

то, как известно (см., например, (Л. 6-13]), оптимальные точки отнесения суть условные медианы величины X при условии,, что X принадлежит данному кванту, т. е. Zu удовлетворяют условию

где р — вероятность соответствующего события.

234

Кроме того, следует учесть, что на основании дока­ занного выше утверждения о непрерывной зависимости среднего штрафа при оптимальном квантовании от ис­ ходных данных эти данные могут подвергаться опреде­ ленному сглаживанию. Поэтому если функция штрафов симметрична, то использование уравнений (6-25) и (6-26) практически всегда возможно.

Система уравнений (6-25) и (6-26), как правило, не может быть разрешена аналитически (исключение со­ ставляет тривиальный случай w(x) =const, ,ѵе;[і0, хд]). Имеются два пути применения этих уравнений для на­ хождения параметров оптимальных квантователей. Сле­ дуя первому из них, (6-25) п (6-26) принимают за осно­ ву некоторой итеративной процедуры, сходящейся к ре­ шению этой системы уравнений [Л. 6-13, 6-18—6-20]; второй путь состоит в получении аналитических выраже­

следовательность средних штрафов, соответствующая образуемым таким образом способам квантования, моно­ тонно убывает: на каждом шаге мы «улучшаем» кванто­ ватель. Можно показать (см. [Л. 6-13]), что предельной

точкой для последовательности векторов {xrj'’......

zfJ), ..., zjj*} (независимо от выбора начального прибли­

жения) при /-—уоо будет решение системы уравнений (6-25) и (6-26). Более того, в ]Л. 6-13] показано, что можно выбрать начальное .приближение таким образом, что все параметры будут сходиться к предельным значе­ ниям, монотонно изменяясь (все убывая или все возра­ стая). Это обстоятельство дает возможность организо­ вать процедуру так, что на каждой итерации будут из­ вестны границы,-между которыми находятся параметры, причем эти границы стягиваются. Указанные свойства данного алгоритма являются его несомненным достоин­

235

ством, однако скоростьсходимости, обеспечиваемая им, невысока.

Другая вычислительная схема состоит в следующем: система уравнений (6-25) и (6-26) рассматривается как рекуррентная схема, позволяющая по значению одного из параметров (например, хі) определить остальные: подставляя xL в (6-26), находим гі(хі), далее из і(6-25) находим z2(xі) и т. д. Так как известно, что параметры оптимального квантователя должны удовлетворять си­ стеме уравнений (6-25)_ и (6-26), то глобальный минимум выражения (6-14) совпадает с глобальным минимумом функции

Таким образом, задача минимизации функции 2N—1 переменных (6-14) сводится к минимизации функции одного переменного с обязательной проверкой, удовлет­ воряет ли найденное решение необходимым условиям (6-25) и (6-26). Опыт применения этой методики пока­ зывает, что скорость сходимости в последнем случае бо­ лее высока, в то же время очевидно, что такая процеду­ ра не обладает свойством «последовательного улучше­ ния» параметров.

Следует учитывать, что функция (хи ..., xN-ü zu ..., Zn) может, вообще говоря, иметь более одного ло­ кального минимума, т. е. получение решения, удовлетво­ ряющего уравнениям (6-25) и (6-26), еще ие гарантиру­ ет достижения оптимума. В связи с этим естественно возникают две задачи: во-первых, выяснить, при каких условиях функция (6-14) имеет единственный минимум; во-вторых, научиться находить «хорошее» первое при­ ближение, что позволило бы начинать итерации с векто­ ра параметров, близкого к доставляющему глобальный оптимум, и существенно уменьшило бы отмеченные выше трудности.

Первая из этих задач изучалась в ;[Л. 6-18] для слу­ чая, когда критерием точности является средний квадрат ошибки, т. е. минимизируется функция

(6-30)

236

Как следует из вышеизложенного, можно «'Понизить» размерность задачи, сведя ее к минимизации функции

тельно определенной всюду в области допустимых зна­ чений Z = ( Z b . . ., Zjv).

все первые частные производные обращаются в нуль) матрица «з вторых производных положительно опреде­ лена, то этой точке соответствует локальный минимум функции. Таким образом, при выполнении условия (6-33) все стационарные точки функции (6-31) есть точки мини­ мума; но это возможно лишь в случае, когда минимум единственный. Итак, если плотность вероятностей кван-

237

туемопо сигнала удовлетворяет (6-33), то задача опти­ мального квантования при среднеквадратическом крите­

ведливо для весьма широкого класса практически инте­ ресных плотностей вероятностей.

Применяя рассуждения, аналогичные развитым в ![Л. 6-18], можно получить достаточные условия един­ ственности экстремума и для некоторых других крите­ риев оптимальности (в частности, для критериев, осно­ ванных на усреднении функции, штрафов вида cp(x, z) =

— C(x)\z—,ѵ|°); в этом случае, однако, как доказатель­ ство, так и результаты более громоздки, и мы не будем их здесь приводить.

Обсудим теперь вкратце вопрос о выборе первого приближения для описанных выше итеративных проце­ дур. В дальнейшем будут получены приближенные фор­ мулы для параметров оптимальных квантователей в слу­

формулы достаточно точны: во всяком случае, они могут быть с успехом использованы для получения «хорошей» начальной точки. Кроме того, следует отмстить, что один из способов нахождения приближенных выражений, а именно метод, основанный на приближении плотности вероятности квантуемого сигнала ступенчатой функ­ цией, применим в для более широкого класса критери­ ев оптимальности. С некоторыми другими, более част­ ными приемами выбора начального приближения мож­ но ознакомиться в [Л. 6-15, 6-19, 6-20].

'Вывод уравнений для параметров оптимального кван­ тования (6-25) и (6-26) существенно опирался на пред­ положение о симметричности функции штрафов и поло­ жительности плотности вероятностей. Ясно, что практи­ чески эти условия имеют место не всегда: в некоторых ситуациях штраф за положительную ошибку не равен штрафу за отрицательную. По этой причине целесооб­ разно располагать (пусть более громоздким) методом построения оптимальных квантователей, который был бы применим независимо от указанных ограничений. Тако-

238

выми являются алгоритмы, основанные на функциональ­ ных уравнениях, вытекающих из принципа оптимально­ сти Веллмана [Л. 6-26]; они изучались в і[Л. 6-12, 6-20, 6-27, 6-28].

Содержательный смысл рекуррентных соотношений, которые мы выпишем ниже, таков: решение единствен­ ной задачи об оптимальном квантовании с N уровнями

с т уровнями; при этом размерность .решаемых задач изменяется от 1 до N; на каждом шаге используются предыдущие результаты, и практически все сводится к решению большого количества одномерных задач. Ни­ же будет показано, что если отсутствует возможность применения аналитических методов, динамическое про­ граммирование существенно облегчает нахождение ре­ шения.

Итак, пусть требуется найти векторы {ху}^1; {ziYf={.

минимизирующие выражение (6-14). Введем следующие обозначения:

Таким образом, Sm(y) отличается лишь постоянным множителем от минимального среднего штрафа, сопут­ ствующего квантованию с т уровнями сигнала, опреде-

239

лепного на [л'о, у] и имеющего плотность вероятностей

(х) dx

Величина Х (т) (у) — это оптимальное значение /е-го порога при квантовании величины с плотностью g(x), когда число уровней равно т, а z*"0 (у) — оптимальное

значение k-u точки отнесения при тех же условиях. Оче­ видно, что задача оптимального квантования сводится к определению

Из принципа оптимальности Веллмана непосредст­ венно следует, что для функций Sm(y) справедливы сле­ дующие рекуррентные соотношения:

(6-38)

Функциональные уравнения (6-38) приводят к тако­ му алгоритму построения оптимальных квантователей: для всех отрезков вида |а, ß] JCoss^a^'ß^'JCjv находится и запоминается оптимальная точка отнесения; это опреде­ ляет в частности ^ h ( y ) для всех у и позволяет найти

но. Поэтому практически ограничиваются табулировани­

«трудоемкость» этого алгоритма. Оказывается, если оп­ тимальные значения параметров квантования определя­ ются с точностью q, то количество вариантов, которые

240

необходимо перебрать при использовании метода дина­ мического программирования, имеет порядок.

(6-39)

в то время как полный перебор требует рассмотрения

вариантов.

Формулы .(6-39) и (6-40) показывают, что хотя про­ цедура, основанная на соотношениях (6-38), довольно громоздка, в случае, когда невозможно применение ана­ литических методов, она дает весьма существенную «экономию» сложности по сравнению с полным перебо­ ром.

Основным достоинством метода динамического про­ граммирования в применении к задаче оптимального квантования является его универсальность; недостат­ ком — большое количество машинного времени (и памя­ ти), потребное для его реализации. На практике его ис­ пользование рационально при малых значениях N, т. е. при решении задач типа оптимального выбора зон при сортировке изделий (контроле). Нетрудно модифициро­ вать соотношения (6-38) таким образом, чтобы они да­ вали решение задачи оптимального квантования смеси полезного сигнала и шума. .

Рассмотрим далее методы, позволяющие получить приближенные аналитические выражения для параме­ тров оптимальных квантователей, а также для средних штрафов, соответствующих оптимальным способам кван­ тования. Ценность таких формул состоит «е только в воз­ можности их использования для вычисления, непосред­ ственного или совместно с итеративными процедурами. Они оказываются весьма полезными при исследовании довольно тонких вопросов качественной теории. Среди обширной литературы, посвященной этой тематике, мож­ но выделить работы {Л. 6-17, 6-21, 6-25], в которых были развиты (на разном уровне строгости) основные поло­ жения этого раздела теории оптимального квантования по уровню.

Ниже рассматриваются задачи, в которых критерии оптимальности основываются на функциях штрафов вида

Отметим, что при этом будет 'Изучена и более общая, по-видимому, ситуация, когда функция штрафа имеет вид:

где с(х) — положительная непрерывная функция. Действительно, задача оптимального квантования

случайной величины X с плотностью вероятности ш(х) при критерии оптимальности с функцией штрафов (6-42)

эквивалентна задаче квантования величины X с плотно­ стью вероятности

при критерии оптимальности с функцией штрафов вида (6-41), т. е. «весовая функция» с(х) может быть перене­ сена в плотность, чем и достигается отмеченное выше сведение задачи.

Итак, рассмотрим функцию штрафов (6-41). Уравне­ ния для параметров оптимального квантователя (6-25) и (6-26) конкретизируются тогда следующим образом:

т. е. величина (/г+ 1)-го кванта равна сумме у«и и Ущи+і), так как хи+і находится посередине между Z/,+i и z/,+2 -

242