Статистические классификаторы

Доказано, что в случае известных распределений случайных векторов, подлежащих классификации, оптимальным в смысле минимизации ошибки классификации является байесовский классификатор, рассмотренный подробнее в п.

Однако на практике эти распределения, как правило, неизвестны, а имеется лишь конечное число объектов, по которым статистические методы осуществляют восстановление исходных распределений. Если функциональный вид распределения известен, плотность вероятности можно оценить, заменяя неизвестные параметры их оценками. Например, нормальное распределение можно оценить с помощью оценок вектора средних значений и ковариационной матрицы. Этот метод оценивания плотностей вероятности называют параметрическим. Подробнее параметрические классификаторы рассмотрены в п.

Альтернативный подход к оцениванию плотности вероятности не использует предположения о том, что она имеет какой-либо определенный вид. Этот подход называют непараметрическим [].

Идея одного из непараметрических методов заключается в построении вокруг каждого объекта обучающей выборки симметричных функций – ядер и их последующем суммировании. Существует много ядер, которые могут быть использованы в классификаторах этого типа (см. рис.). Оптимальный вид ядра зависит от вида восстанавливаемой плотности вероятности.

Другой непараметрический метод, рассмотренный в [], применяет разложение плотности вероятности по базисным функциям. Плотность вероятности в этом случае приближенно выражается через моменты распределения и базисные функции.

В [] отмечается возможность построения вероятностных классификаторов на основе нейронных структур. Вероятностная нейронная сеть, реализующая метод восстановления плотности вероятности при помощи функций ядер, рассмотрена в п.

Классификаторы на основе построения разделяющих гиперповерхностей

Классификаторы данного типа стремятся построить в многомерном пространстве гиперповерхности, которые бы разделили исходное пространство на области принятия решения, соответствующие различным классам.

К классификаторам этого типа относятся алгоритмы построения комитетных решающих правил []. Эти алгоритмы ориентированы на составление системы линейных неравенств, каждое из которых определяет одну гиперплоскость. Каждая гиперплоскость представляет одно решающее правило, разделяющее исходное пространство на две области принятия решений. Общее решение о классе поступающего объекта формируется на основании ответов всей совокупности решающих правил.

Подобный принцип классификации используется в классификаторах на основе деревьев решений (decision tree classifiers). На рис. 1.1 показан такой классификатор на основе двоичного дерева. Он формирует область решения в виде квадрата. В рас­сматриваемой задаче имеются две входные величины , ; и два класса A и B. В каждой из нетерминальных вершин дерева (обве­дены кружком, внутри которого указан номер вершины) выполня­ется проверка условия, указанного справа от вершины. Четыре вершины разделяют входное пространство на области, границы которых показаны пунктиром и помечены соответствующими номерами. Стрелки у линий определяют часть области, соответст­вующей результату «да» полученному при проверке указанного условия. Процесс поиска решения начинается внизу (вершина 1) и выполняется до тех пор, пока не будет достигнута терминальная вершина. Выходной класс указан над терминальной вершиной. Этот вычислительный процесс может быть реализован с помощью ней­ронной сети подобной структуры, состоящей из вершин с двумя выходами.

Более сложные области решения могут быть сформированы с помощью двоичных деревьев, имеющих большое число вершин, или на основе обобщенных деревьев. В классификаторах данного типа применяются также различного вида нелинейные правила, вклю­чая полиномы высокого порядка. Согласно [] к классификаторам на основе построения гиперповерхностей можно отнести многослойный персептрон, машину Больцмана, машину опорных векторов (Support Vector Machine), структуры высокого порядка. Они также могут быть реализованы на основе нейронных структур, обладающих небольшой памятью, но требующих сложные алгоритмы обучения.

Рис. Классификатор на основе двоичного дерева