книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

и подавно устремится к нулю. Поэтому условие

lim > - 7 S(I) = О г-*=о L

является достаточным условием существования равно­ мерной сходимости. Это условие может быть легко про­ верено для различных классов решающих правил.

§ 7. Свойства функции роста

Функция роста класса решающих правил имеет про­ стой смысл: она равна максимальному числу способов разделения I точек на два класса с помощью решающих правил F (X, а).

В главе X будет показано, что функция роста обладает одним замечательным свойством, которое дает возмож­

ность ее легко оценивать: она либо тождественно равна 21,

Іп~

п — минимальное число, при котором нарушается равен-

ство ms (I) = 21.

В первом случае для любого I найдется комбинация точек хг, . . ., Хі такая, что ее можно разбить всеми воз­ можными способами на два класса с помощью решающих правил F (х, а).

Во втором случае это не всегда возможно. Существует максимальное число точек п — 1, которое еще разбива­ ется всеми возможными способами с помощью правил F (X, а), но уже никакие п точек этим свойством не обла­ дают. Оказывается, что при этом функция роста мажори­ руется степенной функцией с показателем роста п — 1.

Число п — 1, таким образом, может служить мерой разнообразия решающих правил в классе Q. Мы будем называть его емкостью класса £2 (при ms (I) = 2' считаем емкость бесконечной).

Нетрудно убедиться, что, если емкость класса конечна) всегда имеет место равномерная сходимость частот к ве­ роятностям. В самом деле, при этом

и достаточное условие выполнено.

Это во всяком случае произойдет, если

Это равенство можно разрешить относительно е. Таким образом, справедливо утверждение: с вероятностью, не превышающей 1 — р, максимальное по классу S укло­ нение частоты выпадения событий от вероятности не пре­ восходит

Отсюда, в силу сказанного в § 2, непосредственно сле­ дует, что с вероятностью, превышающей 1 — р, качество эмпирически оптимального решающего правила отлича­ ется от качества истинно оптимального не более чем на Л — 2е, т. е.

где I — длина обучающей выборки, а г — емкость класса решающих правил, из которого осуществляется выбор. В частности, для линейных решающих правил в простран­ стве размерности т

Таким образом, при заданной длине обучающей вы­ борки качество решающего правила, выбранного алго­ ритмом, тем ближе к наилучшему в классе, чем меньше емкость класса £2. Но следует помнить, что качество наи­ лучшего в классе Q решающего правила, вообще говоря, напротив, тем выше, чем шире класс Q.

Разрешая равенство (5.11) относительно I, можно оценить для фиксированной точности и надежности до­ статочную длину обучающей последовательности (см. главу XIII). Оказывается, что качество эмпирически оптимального решающего правила с вероятностью,

превышающей 1—ц, отличается от наилучшего в классе Q не более чем на е, если только длина обучающей выборки достигает

Следовательно, достаточная длина выборки пропор­ циональна емкости класса решающих функций. В част­ ности, для линейных решающих функций в т-мерном спрямляющем пространстве достаточная длина пропор­ циональна размерности т.

§9. Метод минимизации эмпирического риска

вдетерминистской постановке задачи обучения

распознаванию образов

До сих пор при исследовании методов минимизации эмпирического риска в задаче обучения распознаванию образов не возникала необходимость различать две по­ становки — детерминистскую и стохастическую, как при исследовании методов стохастической аппроксимации.

Однако, вообще говоря, применение методов мини­ мизации эмпирического риска в детерминистском вариан­ те задачи обучения распознаванию образов дает более эффективные результаты. Во всяком случае, оценки ско­ рости равномерной сходимости указывают на более быст­ рую сходимость. Чтобы выяснить, почему это происходит,

в том, что по предположению среди этих решающих пра­ вил есть то, которое идеально решает задачу. Его-то или близкое к нему правило и предлагается найти, используя

вы борку Хх, . . ., Ж(.

!-й Искать такое решающее правило будем'методом мини­ мизации эмпирического риска. Так как среди функций {F (х, а,})} есть та, которая идеально решает задачу, то заведомо ясно, что на любой выборке хх, . . ., xt зна­ чение минимума эмпирического риска будет равно нулю.

Однако этот минимум может достигаться на многих функциях. Поэтому возникает необходимость оценить ве-

§ 9. МИНИМИЗАЦИЯ РИСКА В ДЕТЕРМИНИСТСКОЙ ЗАДАЧЕ Ю5

роятность того, что при выборе любой функции, достав- ^ ляющей нуль величине эмпирического риска, можно га­ рантировать, что выбрана функция, качество которой не хуже заданного е.

Введем функцию

Тогда формально оценка скорости равномерной схо­ димости частот к вероятностям по множеству правил, для которых частота ошибок равна нулю, связана с оценкой вероятности следующего события:

{sup I V* — Р і І-Ѳ (ѵj) > е}.

г

Так как число функций, на которых достигается нуль величины эмпирического риска, не превосходит N числа всех элементов в классе, то справедливо неравен­ ство

где P[ — вероятность того, что решающее правило, для которого вероятность совершить ошибку есть величина, большая е, правильно классифицирует все векторы обу­ чающей последовательности. Эту вероятность легко оце­ нить:

РІ < (1 - б)'.

Подставляя оценку РІ в (5.13), получим

Р {sup [ ѵ4 — Рі I -Ѳ (Vj) > e} < N (1 — e)'.

І

Для того чтобы вероятность Р {sup [ ѵг— Р і |-Ѳ(ѵг) Д> е} i

не превосходила величину Г|, достаточно выполнения

9 10. ЗАМЕЧАНИЕ ОБ ОЦЕНКЕ СКОРОСТИ СХОДИМОСТИ Ю7

сходимости, то можно потребовать, чтобы вероятность

Р {sup I Р (а) — V(а) I • Ѳ(ѵ(а)) )> е}

а

(в отличие от (5.12) здесь знаменатель не с2, а е). Разре­ шим еще это же равенство относительно е. Заменяя г! по формуле Стирлинга, получаем

Таким образом, в детерминистском варианте поста­ новки задачи оценки оказываются лучше, чем в общем случае.

§10. Замечание об оценке скорости равномерной сходимости частот появления событий

ких вероятностям

Почему же оценки, полученные для детерминистского и стохастического вариантов постановки задачи, так сильно различаются

Объяснение этому частично дано в предыдущем пара­ графе, где формулы (5.3), (5.10) и (5.13), (5.18) определяют скорости равномерной сходимости частот появления событий к их вероятностям по различным классам событий S.

В детерминистском варианте постановки учитывают­ ся только те события исходного множества событий S, частоты которых равны нулю. Обозначим эт от подкласс

S 0. В стохастическом варианте задачи уклонение оцени­ валось для всех событий исходного класса событий S.

Формально этот факт находит свое отражение в струк­ туре формул, задающих оценку равномерной сходимости, (5.10), (5.18). Правая часть неравенств (5.10), (5.18) со­ стоит из двух сомножителей. Первый сомножитель ха­ рактеризует емкость класса событий (он идентичен, как в случае (5.10), так и в (5.18)), второй сомножитель оцени­ вает вероятность уложиться в заданное уклонение е частоты от вероятности для любого события заданного класса (в детерминистской постановке этот класс есть S 0, в стохастической — этот класс совпадает с S).

Оказывается, удается существенно по-разному оценить этот второй сомножитель. Так как при стохастическом варианте постановки априори не известны никакие ха­ рактеристики вероятностей событий класса S, то оценка уклонения частоты от вероятности для любого события А, принадлежащего S, производится в условиях наиболее

Р (А) = е. Для оценки уклонения частоты от вероятно­ сти этого события возможна более тонкая оценка (5.14).

Таким образом, оценки, полученные для детерминист­ ского и стохастического вариантов постановки задачи, различаются так, как различаются оценки уклонения частот от вероятностей в двух событиях: в событии А, для которого Р (А) близко к нулю, и в событии А', для которого Р (A') близко к г/2.

Это обстоятельство заставляет внимательно отнестись к тем требованиям, которые предъявляются к величинам уклонения частот от вероятностей.

В задаче обучения распознаванию образов можно ослабить требования к характеру сходимости: разумно требовать не равномерного отклонения частот от вероят­ ностей для всех событий, а разрешить большее уклонение для тех событий, которым соответствует вероятность, близкая к Ѵ2 , и меньшее для событий с вероятностями,