книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

120 ГЛ. VI. МЕТОД УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА

только при фиксированном уровне надежности. Это соз­ дает некоторые неудобства, поэтому будем иногда харак­ теризовать качество алгоритма не функцией распределе­ ния р, (Р (а)), а математическим ожиданием качества

Я = J -Р (а) dp (Р (а))-

Теперь для решения предложенной задачи на выборках длины I будем считать тот алгоритм лучшим, для которого соответствующая величина математического ожидания меньше.

Обозначим через А алгоритм обучения, а через Т кон­ кретную задачу; тогда качество алгоритма А, решающего задачу обучения распознавания образов Т на выборках длины I, можно записать как функцию двух переменных

Ri(A, Т).

Итак, определено, как должно измеряться качество R i ( A , Т ) для любой фиксированной задачи Т . Далее сле­ дует договориться, как измерять качество алгоритма, предназначенного для решения класса задач { Т } .

Разрешению этой трудности посвящена теория стати­ стических решений. В этой теории для сравнения различ­ ных алгоритмов предлагаются следующие три критерия:

а) критерий Байеса, б) критерий минимакса,

в) критерий минимакса потерь.

Критерий Байеса предлагает вычислять для каждого алгоритма среднее по множеству всех задач качество. Для этого надо знать закон, который указывал бы, с какой вероятностью придется решать ту или иную зада­ чу, т. е. знать функцию распределения Р (Т). Тогда критерий Байеса определяется так:

^Байеса (А) = $ R i ( А , Т ) dP ( Т ) .

Критерий минимакса наиболее осторожен. Он пред­ лагает оценивать качество алгоритма как качество ре­ шения наиболее неблагоприятной для данного алгоритма задачи. При таком критерии, напротив, совершенно не принимается во внимание, какова вероятность того, что на практике придется решать эту неблагоприятную за­ дачу. Поэтому может оказаться так, что качество алго­ ритма определяет задача, которая на практике никогда

не встретится. Иначе говоря, этот критерий конструирует­ ся так:

#мм (4) = max R[ {А, Т).

т

Критерий минимакса потеръ предполагает минимиза­ цию наибольшей величины потери качества, ко­ торая возникает из-за применения данного алгоритма для решения разных задач по сравнению с применением опти­ мального для каждой из задач алгоритма. Иначе говоря, критерий минимакса потерь конструируется по правилу:

#м.п (-4) = max (R, {А , Т ) — min R, (А, Т)).

Эта глава посвящена сравнению различных алгорит­ мов обучения распознаванию образов. В ней будут рас­ смотрены оптимальные с точки зрения различных крите­ риев алгоритмы, установлена близость алгоритмов, ми­ нимизирующих эмпирический риск, к оптимальным с точки зрения минимаксного критерия и критерия минимакса потерь. Однако алгоритмы, оптимальные по этим двум критериям, не столь интересны, как алгоритмы, оптими­ зирующие критерий Байеса. Построение же оптимальных по критерию Байеса алгоритмов — задача, практически неосуществимая из-за чрезвычайно громоздких вычис­ лений. Поэтому представляют интерес квазибайесовы про­ цедуры, которые сохраняют ценные свойства байесовых процедур, но не столь громоздки. В этой главе будут рас­ смотрены алгоритмы упорядоченной минимизации риска, которые реализуют такие процедуры.

Рассмотрение оптимальных алгоритмов начнем с ис­ следования алгоритмов, оптимальных по минимаксному критерию.

§ 2. Минимаксный критерий

Как было указано выше, в этом случае алгоритмы срав­ ниваются по тому, как они решают наихудшую для себя задачу. Используя этот критерий для выбора оптимально­ го алгоритма, мы будем сействовать наиболее осторожно. Следует отметить, что применение этого критерия бессмыс­ ленно в случае, когда на круг решаемых задач заранее не наложено ограничений. Дело в том, что всегда

для алгоритмов А , выбирающих разделяющее правило из класса S, и любых задач распознавания.

Таким образом, алгоритмы, минимизирующие эмпи­ рический риск, оказываются довольно близкими к опти­ мальным по критерию минимакса потерь. Очевидно, что минимакс потерь при конечном п стремится к нулю при I -> оо. Если же функция роста ms (I) = 2г, то максималь­ ные потери вообще не убывают с ростом I, оставаясь рав­ ным 0,5, т. е. обучение не происходит.

Как было показано в главе V, величина п, входящая как в верхнюю, так и в нижнюю оценку минимакса по­ терь, является мерой объема класса S. Таким образом, минимакс потерь тем больше, чем шире класс решающих правил, из которого осуществляется выбор. Это несколь­ ко парадоксальное заключение легко понять, если учесть, что мы фактически рассматриваем только такие задачи,

алгоритма.

Вообще для данного алгоритма А и задачи Т средний риск (т. е. качество) распадается на три составляющие:

R (А, Т) = я (А, Т) + А, (Т, S ) + Д2 (Т).

Здесь Д2 — это неизбежная составляющая риска, которая остается даже при использовании самого лучшего решаю­ щего правила для данной задачи, выбранного без всяких ограничений. Величина Дх + Д2 определяет качество наи­ лучшего решающего правила в классе S', таким образом, Дг — это потери, связанные с ограничением, заставляю­ щим выбирать правило только из класса S (в детерминист­ ской постановке Д2 + Дх = 0). Наконец, я — это потери в смысле, определенном выше; они отражают то, насколь­ ко решающее правило, выбираемое алгоритмом А в ходе обучения, близко к оптимальному в классе S.

Величина Д2 (Т) зависит только от задачи распознава­ ния. Величина Дх (Т, А) зависит уже от класса S, но не зависит от алгоритма обучения. Потери же я [А, Т) за­ висят от задачи, класса S и конкретного алгоритма обу­ чения.

І26 ГЛ. VI. МЕТОДЫ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА

§ 4. Критерий Байеса

Пусть априорные сведения о природе задач, на кото­ рые рассчитывается алгоритм обучения, задаются как ап­ риорная вероятность тех или иных задач. В этом случае теория статистических решений предлагает метод построе­ ния оптимального алгоритма обучения в смысле средне­ го качества по ансамблю задач, т. е. метод минимизации критерия Байеса

ДвміесаИ) = 2 Рапр(Г)'Я/(А Т ) .

т

Следующая схема реализует оптимальную по критерию

где Рапр ( Т ) — априорная вероятность задачи Т .

Здесь Рт {х, о) — распределение, соответствующее за­

3. Наконец, строится решающее правило F (х), ра­ ботающее следующим образом:

Несмотря на всю привлекательность байесовой стра­ тегии обучения, она оказывается практически неосущест­ вимой, так как, за исключением простейших случаев, приводит к чрезвычайно громоздким вычислениям. Кроме

§ 5. УПОРЯДОЧЕНИЕ КЛАССОВ РЕШАЮЩИХ ПРАВИЛ 127

того, сведения об априорной вероятности различных за­ дач весьма расплывчаты, поэтому точное следование оп­ тимальной по Байесу процедуре'может оказаться нецелесо­ образным. Представляют интерес «квазибайесовы» про­ цедуры, которые сохраняют ее ценные свойства и не столь громоздки.

Необходимо отметить, что, в отличие от других приме­ нений байесовой процедуры, в задачах распознавания об­ разов априорные сведения о задачах, которые предстоит решать, существенны и от них сильно зависит выбираемое решающее правило. В частности, можно показать, что эффективно могут работать лишь алгоритмы, рассчитан­ ные на достаточно узкий класс задач по сравнению со все­ ми возможными. Поэтому, для того чтобы байесова стра­ тегия была эффективной, необходимы такие априорные вероятности задач, чтобы огромное большинство задач было в совокупности маловероятно, а ничтожное мень­ шинство образовывало множество, вероятность которого близка к единице.

§ 5. Упорядочение классов решающих правил

Последнее замечание предыдущего параграфа можно записать следующим образом. Пусть Q — множество всех возможных задач. Тогда из этого множества может быть выделена система вложенных подмножеств

такая, что вероятность Р (Qt) встретить задачу из Qt об­ разует систему неравенств

Суть замечания состоит в том, что при переходе от Qt к Qi+i количество задач должно резко возрастать, в то вре­ мя как величины

АРі = Р (Qi+1) - Р (Qt)

монотонно уменьшаются.

Задание системы вложенных множеств (6.1) и вероят­ ностей (6 .2 ) составляют априорные сведения о тех зада­ чах, которые предстоит решать.

128 ГЛ. VI. МЕТОДЫ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА

Огрубление байесовой стратегии обучения мы начнем с того, что будем использовать априорную информацию, заданную не двумя условиями (6 .1 ) и (6 .2 ), а одним усло­ вием (6 .1 ), полагая, что АP t уменьшаются. Особенностью байесовой стратегии является то, что она с большим весом

стратегию можно понимать как некоторую квазибайесо­ ву стратегию.

К обучающей последовательности применяется сна­ чала алгоритм, рассчитанный на задачи из класса Qx. Только в том случае, если он дает неудовлетворительные результаты, применяется алгоритм, рассчитанный на задачи из класса Q2, и т. д.

Назовем такую стратегию методом упорядоченной ми­

эмпирический риск. Если найденное решающее правило оценивается как неудовлетворительное, то ищется пра­ вило, минимизирующее эмпирический риск в классе S 2, и т. д. Процедура поиска оканчивается, когда будет най­ дено удовлетворительное решающее правило.

Заметим, что решения, полученные методом упорядо­ ченной минимизации риска, вообще говоря, отличаются от решений, полученных методом минимизации эмпири­ ческого риска.

В первом случае выбирается правило, минимизирую­ щее эмпирический риск лишь в классе функций S t d S, в то время как во втором случае правило минимизирует эмпирический риск в S.

Метод упорядоченной минимизации риска удобно рас­ сматривать как двухуровневую процедуру обучения. На первом уровне к обучающей последовательности приме­ няется N алгоритмов А г, . . ., Ajy, каждый из которых выбирает решающее правило, минимизирующее эмпи­ рический риск в классах S t. На втором уровне из N ото­