5.4. Случай двух линейно разделимых классов

5.4.1. Геометрия и принятая терминология

Предположим теперь, что имеется множество п выборок y₁, . . ., y_n, часть которых помечена , а часть. Данные выборки мы хотели бы использовать для определения весов в линейной разде­ляющей функции g(x)=a^ty. Предположим, имеется основание счи­тать, что существует решение, для которого вероятность ошибки очень и очень мала. Тогда разумный подход будет заключаться в нахождении весового вектора, который правильно классифицировал бы все выборки. Если такой весовой вектор существует, то выборки называются линейно разделяемыми. Выборка , классифицируется правильно, если а^t>0 и , по­мечен или если а^t<0 и помечен . Можно заметить, что во втором случае , будет классифицироваться правильно, если

Рис. 5.6.Линейно разделяемые выборки и область решения в весовом простран­стве.

а —случай с нормированием,б —случай без нормирования.

Рис. 5.7.Влияние допуска на область решения.

а —случаи б=0,б—случайb=||y₂||.

а^t(—)>0. Это наводит на мысль о введении нормирования, с по­мощью которого будет упрощено рассмотрение случая двух классов, а именно будет произведена замена всех выборок, обозначенных символом , их отрицаниями. При введении указанного нормиро­вания можно забыть об индексах и искать такой весовой вектор а, чтобы для всех выборок выполнялось соотношение а^t>0. Данный весовой вектор называется разделяющим вектором или вектором решения.

Можно считать, что весовой вектор а определяет точку в весовом пространстве. Каждая выборка у, накладывает ограничение на возможное расположение вектора решения. Уравнение а^t=0 определяет гиперплоскость, проходящую через начало координат в весовом пространстве, для которой является нормальным векто­ром. Вектор решения, если он существует, должен находиться с положительной стороны каждой гиперплоскости.

Таким образом, вектор решения должен лежать в пересечении п полупространств, и любой вектор, находящийся в данной об­ласти, будет являться вектором решения. Соответствующая область называется областью решений. На рис. 5.6 изображена область решений при нормировании и без нормирования на примере дву­мерного случая.

Из сказанного следует, что если существует вектор решения, то он не единствен. Дополнительные ограничения на вектор решения можно получить разными способами. Одна из возможностей заклю­чается в поиске единичного вектора, который бы максимизировал минимальное расстояние от выборок до разделяющей плоскости. Другим способом является нахождение минимального весового век­тора, удовлетворяющего условию а^tb для всех i, где b — поло­жительная константа, называемая допуском. Иногда бывает удоб­ным, чтобы выполнялось лишь условие а^tb. Как показано на рис. 5.7, область решений, получившаяся в результате пересече­ния полупространств, для которых а^tb>0, находится внутри прежней области и отделена от старых границ расстоянием b/||||. Попытки определения вектора решения, расположенного ближе к «середине» области решения, основывались на интуитивном предпо­ложении, что полученное решение с большей вероятностью будет давать правильную классификацию новых выборок. Однако в слу­чаях, подлежащих рассмотрению, для нас удовлетворительным будет любое решение, принадлежащее области решения. Основное внима­ние должно быть сосредоточено на том, чтобы любая используемая итеративная процедура не вызывала приближения к предельной точке, лежащей на границе. Данная задача всегда может быть ре­шена путем введения допуска, т. е. выполнением требования а^tb>0 для всех i.