книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

130 ГЛ. VI. МЕТОДЫ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА

Правило, минимизирующее (6.4), обеспечивает мини­ мальную гарантированную величину вероятности оши­ бочной классификации.

Второй способ выбора решающего правила основан на использовании следующего приема оценивания, кото­ рый получил название скользящий контроль*). Идея этого приема такова: для того чтобы оценить качество работы каждого алгоритма низшего уровня, процедура второго уровня выделяет из обучающей последователь­ ности один элемент и предлагает каждому из алгоритмов обучиться на оставшейся части последовательности и классифицировать выделенный элемент, затем выде­ ляется другой элемент (а первый возвращается) и снова проводится обучение и экзамен на этом одном элементе; и так поочередно перебираются все элементы обучающей последовательности. После этого подсчитывается, сколь­ ко раз каждый алгоритм ошибался при классификации выделенных элементов. Отношение числа ошибочных классификаций к числу примеров, выделенных для обу­ чения, и оценивает качество решающего правила, вы­ бранного каждым из N алгоритмов.

§ 7. Несмещенность оценки скользящего контроля

Покажем, что оценки скользящего контроля являют­ ся несмещенными, т. е. математическое ожидание ре­ зультата контроля равно истинной величине качества. Для удобства обозначим через

F (X; хъ (ох; . . . ; х и сог)

решающее правило, найденное по выборке длины I, через

Р ( ^ і і а>1, • • • ) (üi) —

= § (сі ”- Fl(*г, *^1»eij, . . • , Xj, сог))а dP (x, со)

*) Процедура скользящего контроля, вероятно, впервые была предложена М. Н. Вайнцвайгом.

132 гл. VI. МЕТОДЫ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА

где ѵс — оценка скользящего контроля, е (ц) = у (ц) Y А D — дисперсия оценки, у (rj) — константа, зависящая от надежности, с которой требуется выполнение (6.5).

Есть основания полагать (и многочисленные экспери­ менты это подтверждают), что для большинства практи­ чески важных случаев дисперсия оценки «скользящий контроль» стремится к нулю с ростом I примерно так же быстро, как дисперсия «экзамена», но строгого доказа­ тельства этого утверждения не известно. Любопытно, что существуют примеры алгоритмов обучения, когда оно не­ верно [45], хотя, видимо, для всех «разумных» алгорит­ мов обучения это утверждение справедливо.

Таким образом, алгоритмы выбора лучшего решающе­ го правила по критерию «скользящего контроля» в настоя­ щее время являются эвристическими и будут оставаться таковыми до тех пор, пока не удастся получить оценку дисперсии «скользящего контроля». Отыскание диспер­ сии оценки метода «скользящего контроля» является од­ ной из наиболее актуальных задач не только теории обу­ чения распознаванию образов, но и теоретической ста­ тистики. Знание этой оценки позволит выбрать на­ стоящее правило, минимизирующее верхнюю оценку ве­ личины р, и тем самым позволит гарантировать опре­ деленное качество выбранному решающему правилу. В дальнейшем будут рассмотрены алгоритмы второго уровня, использующие лишь оценки типа (6.4).

Для того чтобы задать алгоритмы упорядоченной минимизации риска, нам осталось определить способы упорядочения классов решающих правил. Ограничимся исследованием принципов упорядочения линейных ре­ шающих правил.

§ 8 . Упорядочение по размерностям

Наиболее простым принципом упорядочения класса линейных решающих правил является принцип упоря­ дочения по размерностям.

Рассмотрим класс линейных решающих правил

Выстроим признаки ф* (х) в порядке уменьшения ап­ риорной вероятности того, что этот признак понадобится при классификации. Упорядоченная система линейных решающих правил

что только к‘ 1 и К2 могут быть отличны от нуля, и т. д. Такое упорядочение имеет следующий смысл. В первый класс попадают решающие правила, которые при распоз­ навании используют только первый признак, во второй класс те, что используют первый и второй признаки и т. д. Показатель емкости каждого из этих классов, как было установлено в предыдущей главе, равен т + 1 ,

где т — число используемых признаков.

Процедура высшего уровня в алгоритме упорядочен­ ной минимизации риска в данном случае будет выбирать решающее правило, минимизирующее критерий

К(т) = Р « Ы + 2 y ^ + O W a - y + O + D - l.l/S

(6.6).

Рассмотренный выше способ упорядочения класса линейных решающих правил страдает одним недостат­ ком — он требует априорной ранжировки признаков.

В том случае, когда такой ранжировки нет, можно ввести другой принцип упорядочения по размерностям: в класс включать все линейные решающие правила, ис­ пользующие не более т признаков. Функция роста та­ кого класса решающих правил, как нетрудно убедиться,

оценивается величиной

jim+1)

т 8» ( і ) < і , 5 - С О»+ 1)1 j

где п — размерность исходного пространства, откуда следует, что процедура высшего уровня должна мини­

i 9. УПОРЯДОЧЕНИЕ ПО 0ТН0СИТЕЛЬНЫМ2.РАССТ0ЯНИЯМ 135

ществовании иных и, возможно, более эффективных ме­ тодов упорядочения свидетельствуют также и оценки качества решающего правила, которые могут быть по­ лучены для персептрона, использующего многократно обучающую последовательность. Рассмотрим такие оцен­ ки качества.

В главе I была доказана теорема Новикова, утверж­ дающая, что если в спрямляющем пространстве два мно­ жества векторов разделимы гиперплоскостью, расстоя­ ние от начала координат до выпуклой оболочки множеств {х}, {—Ж} больше р = ро 0, а максимальная длина век­ тора не превосходит D, то персептрон разделит обучаю­ щую последовательность (при циклическом ее повторе­ нии), сделав не более (D/р)2 исправлений. При этом он реализует один из алгоритмов минимизации эмпиричес­ кого риска. Оценим качество персептронного алгоритма с многократным просмотром последовательности, иду­ щим до полного разделения, для задач с известными величинами р и D. Качество R (А, Т) алгоритма А для данной задачи Т было определено как математическое ожидание относительного числа ошибок на экзамене после обучения на обучающей последовательности дли­ ны I. Справедлива следующая теорема.

Теорема 6.1. Качество персептронного алгоритма А с многократным повторением обучающей последователь­ ности для задачи Т с фиксированными D u р0 оценивается неравенством

л ^ К - ігЬ у

Д о к а з а т е л ь с т в о . Доказательство этой теоре­ мы основывается на доказанном в § 7 утверждении о не­ смещенности оценок, полученных с помощью процедуры «скользящий контроль». Поэтому вместо оценки качест­ ва нам достаточно оценить математическое ожидание частоты ошибок при скользящем контроле. При сколь­ зящем контроле из обучающей последовательности вы­ деляется один элемент, на оставшейся части проводится обучение, строится решающее правило и затем прове­ ряется классификация выделенного элемента этим ре­ шающим правилом. Эта операция проделывается с каж­ дым элементом.!

которых других (но не для любых!) алгоритмов построе­ ния разделяющей гиперплоскости, основанных на ми­ нимизации эмпирического риска, в частности, для ме­ тода обобщенного портрета (см. главу XIV).

Доказанное здесь утверждение показывает, что эф­ фективность обучения тем выше, чем больше относитель­

Ц(ЛЕ„ г Х щ

Поскольку никаких иных сведений о качестве решаю­ щих правил нет, то, очевидно, следует предпочесть то

вать качество подпространств при построении линейных решающих правил. На практике же пользоваться этим критерием трудно: как правило, нам не известны вели­ чины D (Е) и р (Е).

Конечно, можно их оценить по выборке и с помощью соответствующих оценок вычислять качество 'подпрост­ ранств. Однако такой прием будет уже эвристическим.

158 ГЛVT. МЕТОДЫ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИЙ РИСКА

Хотелось бы построить метод, который позволял бы оценивать качества подпространств не по величинам D (Е) и р (Е), а по их оценкам.

Такому методу будут посвящены следующие параг­ рафы. В них будет приведен метод, позволяющий эф­ фективно выделять экстремальные подпространства. Однако подобные алгоритмы решения задачи обучения распознаванию образов возможны лишь в постановке, отличной от той, которую мы рассматривали до сих пор.

В заключение этого параграфа обратим внимание читателя на интересную аналогию, которая может быть проведена между рассматриваемым здесь] критерием упорядочения и хорошо изученным в классическом диск­ риминантном анализе понятием — расстоянием Махаланобиса [62].

Пусть требуется построить гиперплоскость, разде­ ляющую два множества векторов {х} и {£}, каждое из которых подчиняется нормальному распределению с па­ раметрами рх, 2 и р2, 2 (ковариационные матрицы рав­ ны). Тогда, как указывалось в главе III, оптимальным решающим правилом (т. е. правилом, минимизирующим вероятность ошибки) является линейная дискриминант­ ная функция.

позволяет вычислить вероятность правильной класси­ фикации оптимального решающего правила

2

—со

Геометрически расстояние Махаланобиса выражает от­ ношение расстояния между математическими ожидания­ ми векторов двух различных классов к дисперсии ве­ личины проекции векторов каждого класса на направ­ ляющий вектор разделяющей гиперплоскости: