4.4. Формирование решающего правила как обучение распознаванию образов

Итак, для решения задачи классификации необходимо сформировать некоторое решающее правило отнесения предъявленного объекта xк одному из заранее заданных классов и при этом “не слишком часто ошибаться”.

Будем полагать, что для формирования решающего правила в нашем распоряжении имеется так называемая обучающая совокупность - множество объектов , представленных своими наблюдениями.

Задача формирования решающего правила по обучающей совокупности рассматривается как задача обучения распознаванию образов, в предположении, что в обучающих наблюдениях содержится достаточно информации для того, чтобы научиться распознавать их принадлежность к некоторым классам или образам.

В зависимости от вида доступной информации различают задачи обучения распознаванию образов с учителем, без учителя (самообучение, автоматическая классификация) и промежуточные варианты обучения.

При обучении с учителем предполагается, что обучающие наблюдения xпредставлены в паре с указанием класса, где- истинный классj-го наблюдения. Предполагается, что в роли учителя выступает, например, эксперт, оценивающий “истинную” принадлежность объекта к некоторому классу на основании личного опыта и интуиции. Обычно объекты обучающей совокупности являются для эксперта представителями некоторых, не обязательно визуально наблюдаемых, возможно, только мысленных образов, которые он характеризует, как правило, на качественном уровне. Как правило, такие характеристики трудно формализовать. Это означает, что эксперт, скорее всего, затруднится строго формально объяснить, чем различаются представители разных образов, и в чем похожи представители одного образа. Как правило, эксперту значительно проще просто указать принадлежность объектов к обучающим образам. При обучении без учителя нет указаний на классы обучающих объектов. И, наконец, классы могут быть указаны лишь для части обучающих объектов.

Качество решающего правила содержательно понимается как частота правильных решений о классе объекта и формализуется с введением вероятностной меры на множестве . Тогда решающее правило должно минимизировать вероятность ошибки неправильной классификации

,,

где - решение о классе объектаx,- истинная принадлежность к некоторому классу.

С другой стороны, качество оценивается средним риском ошибки распознавания - матожиданием потерь от несовпадения предполагаемого и истинного классов объекта

.

Как было показано, такие оценки качества приводят к байесовскому (оптимальному) решающему правилу вида

и основаны на следующих свойствах совместного дискретно-непрерывного распределения в пространстве признаков. Очевидно, что

, где.

Тогда априорная вероятность появления класса есть

,

и условная по классу плотность распределения значений вектора признаков есть

.

С другой стороны, полное распределение вероятностей в признаковом пространстве есть

,

и апостериорная вероятность появления класса (степень достоверности) есть

.

Но полные вероятностные характеристики данных часто неизвестны. Поэтому для построения решающего правила их требуется оценить по обучающей выборке. Часто условную плотность распределения невозможно получить аналитически. Поэтому ограничиваются некоторым простым параметрическим семейством распределений, определяющим параметрический класс решающих правил вида, гдес- вектор параметров. Тогда для случая двух классов_и_часто решающее правило определяют в виде разделяющей (дискриминантной) функции

.

Как правило, разделяющая функция является линейной или полиномиальной, гдеявляется, как правило,s-м членом разложения разделяющей функциив ряд по некоторой системе функций.

Полиномиальная разделяющая функция не является линейной в исходнойn-мерном пространстве признаков. Но совокупность значенийрассматривается как новые признакиYs объектаx, посредством которых осуществляется переход в новоеp- мерное пространство. Такое пространство называется “спрямляющим”, так как разделяющая функция в нем линейна.

После выбора параметрического семейства решающих правил обучение понимается как поиск вектора параметров, обеспечивающего наименьший средний риск ошибки распознавания.

Предположим, что условные относительно классов плотности распределения целиком сосредоточены в некоторых областях признакового пространстватаких, что их выпуклые оболочки не пересекаются. Тогда для каждой пары разных классов существует линейная разделяющая функция, безошибочно классифицирующая объекты этих двух классов. Такую постановку задачи обучения называют детерминистской. Разделяющая функция определяется лишь формой примыкающих друг к другу непересекающихся областей признакового пространства и не зависит от конкретного вида их распределения вероятностей. С геометрической точки зрения разделяющая функция в многомерном признаковом пространстве определяется уравнением разделяющей гиперповерхности, в частности, линейная функция является разделяющей гиперплоскостью.

Рассмотрим основные классические постановки задачи обучения распознаванию образов в рамках вероятностного подхода.