5.12. Обобщения для случая многих классов

5.12.1. Метод Кеслера

Унас пока не существует единого универсального метода, с помощью которого можно было бы распространить все процедуры для двух классов на случай многих классов. В разд. 5.2.2 было приведено определение классификатора для случая многих классов, названного линейной машиной; классификация образов осуществляется линейной машиной путем вычисления с линейных разделяющих функций

при этом х относится к тому классу, которому соответствует наибольшая g_i (х). Этодовольно естественное обобщение с точки зрения результатов, полученных в гл. 2 для задачи с многомерным нормальным распределением. Следующий шаг, очевидно, может быть связан с обобщением понятия линейной разделяющей функции; введем вектор-функцию у(х), зависящую от х, и напишем выражение

где х снова ставится в соответствие о,, еслиg_i(x)> g_j (x) для всех ij.

Обобщение процедур, рассмотренных для линейного классификатора двух классов, на случай линейной машины для многих классов наиболее просто осуществляется при линейно разделяемых выборках. Пустьимеется множество помеченных выборок y₁,y₂,…,y_n, причем число п₁ выборок, принадлежащих подмножеству Y,₁ помечены ₁, число п₂ выборок, принадлежащих подмножеству Y₂, помечены ₂,... и число п_c выборок подмножества Y,_c помечены _c . Говорят, что данное множество линейно разделяемо в том случае, если существует такая линейная машина, которая правильно классифицирует все выборки. Далее, если эти выборки линейно разделимы, то существует множество весовых векторов, ₁..., _c таких, что если y_kY _iто

для всехij.

Одним из преимуществ такого определения является то, что, не­сколько видоизменив неравенства (89), можно свести задачу для многих классов к случаю двух классов. Предположим на минуту, чтоу Y,₁ так что выражение (89) принимает вид

Это множество(с — 1) неравенств можно интерпретировать как тре­бование существования c-мерного весового вектора

который бы правильно классифицировал все (с—1) c-мерных выборок

Вболее общем случае, еслиуY,_i то формируется (с— 1) с-мерных выборок _ij с разбиением _ij на c-мерные подвекторы, причем i-й подвектор равен у, j-й равен -y, а все остальные являются нулевыми. Очевидно, что если ^t_ij>0 для всех ij, то линейная машина, соответствующая компонентам вектора се, будет правильно классифицировать у.

В описанной процедуре, которая была предложена К. Кеслером, размерность исходных данных увеличивается в с раз, а число выборок—в с—1 раз; это делает ее непосредственное применение достаточно трудоемким и поэтому малопригодным. Значение же данного метода определяется тем, что он позволяет свести процедуру коррекции ошибок в задаче многих классов к случаю двух классов, а последнее чрезвычайно важно для доказательства сходимости указанной процедуры.

5.12.2. Правило постоянных приращений

Вданном пункте для доказательства сходимости обобщенного па случай линейной машины правила постоянных приращений используется метод Кеслера. Пусть имеется множествоп линейно разделяемых выборок y₁,…,y_n; сформируем на их основе бесконечную последовательность, в которой каждая из выборок появляется бесконечное множество раз. Обозначим через L_k линейную машину с весовыми векторами a₁(k), ..., a₂(k). Начиная с исходной, произвольно выбранной линейной машины L₁ и используя последовательность выборок, сформируем последовательность линейных машин, сходящуюся к решающей линейной машине, причем эта последняя будет классифицировать все выборки правильно. Предложим правило коррекции ошибок, в соответствии с которым изменения весов производятся только в том случае, если текущая линейная машина делает ошибку при классификации одной из выборок. Обозначим k-ю выборку, которой необходима коррекция, через у^k и предположим, что у* $?У,. Поскольку коррекция вызвана ошибкой при классификации у^k, то должно существовать по крайней мере одно ij, для которого

Тогда правило постоянных приращений для коррекции L_k примет вид

Покажем теперь, что данное правило должно привести к решающей машине после конечного числа коррекций. Доказательство проводится достаточно просто. Каждой линейной машине соответствует весовой вектор

Для каждой выборкиyY;_i существуют с—1 выборок _ij (правило их формирования описано в предыдущем пункте). В частности, для вектора у^k, удовлетворяющего неравенствам (91), существует вектор

удовлетворяющий условию

Более того, правило постоянных приращений для коррекцииL_k в точности совпадает с таким же правилом для коррекции _k, т. е.

Таким образом, мы пришли к полному соответствию между случаем многих классов и случаем двух классов; при этом в проце­дуре для многих классов используется последовательность выборок ¹,²,…,^k,… и последовательность весовых векторов ₁, ₂,…, _k,…. В соответствии с результатами, полученными для случая двух классов, последняя из указанных последовательностей не может быть бесконечной и должна заканчиваться вектором решения. Следовательно, и последовательность L₁, L₂, . . . ,L_k, . . . должна приходить к решающей машине после конеч­ного числа коррекции.

Использование метода Кеслера для установления эквивалент­ности процедур для случаев двух и многих классов представляет собой мощное теоретическое средство. Он может быть использован для распространения на случай многих классов тех результатов, которые были получены ранее при исследовании процедур персептрона и метода релаксаций. То же утверждение справедливо и для правил коррекции ошибок в методе потенциальных функций. К сожалению, непосредственное использование изложенной методики невозможно для обобщения метода наименьших квадратов и линейного программирования.