Классификаторы, основанные на принципах потенциалов

Метод потенциальных функций был разработан достаточно давно. Применительно к задаче обучения распознаванию образов суть метода заключается в следующем. На пространстве входных векторов x задается функция, которая называется «потенциалом». Потенциал определяет близость двух точек, x, , и обычно задается как функция расстояния между точками. Потенциальная функция, как правило, такова, что она монотонно уменьшается с увеличением расстояния. Примерами потенциальной функции могут служить

, , ,

где – расстояние от точки до точки ; – константа.

С помощью таких функций на пространстве X образуется потенциальное поле. Считается, что вектор x относится к первому классу, если потенциал поля в точке x положителен; в противном случае вектор x относится ко второму классу. Процесс обучения, таким образом, заключается в построении с помощью обучающей последовательности потенциального поля.

Геометрическая интерпретация метода построения потенциального поля очень наглядна (рис.). Пусть для обучения машине предъявляется обучающая последовательность . При появлении первого элемента обучающей последовательности «выпускается» потенциал с центром в точке . Знак потенциала определяется тем, к какому классу относится предъявленный пример: если к первому, то знак у потенциала положительный, если ко второму, то отрицательный. Теперь на пространстве X задан некоторый потенциал. Для второго элемента обучающей последовательности может быть вычислена величина потенциала . Если величина потенциала положительная, а элемент обучающей последовательности относится к первому классу, то потенциальное поле на пространстве X не меняется; если же величина потенциала в точке положительная, а вектор должен быть отнесен ко второму классу, то из точки «выпускается» новый потенциал, но с отрицательным знаком. Теперь на пространстве X действует новый суммарный потенциал

.

Аналогично, если при классификации элемента обучающей последовательности с помощью суммарного потенциала совершается ошибка, потенциал меняется так, чтобы по возможности исправить ошибку.

Таким образом, результатом обучения в методе потенциальных функций является построение на пространстве X потенциального поля

(здесь суммирование проводится не по всем элементам обучающей последовательности, а лишь по тем, на которых совершалась «ошибка»).

Это поле разбивает все пространство на две части: часть пространства X, где значение суммарного потенциала положительно (все точки в этой части пространства считаются принадлежащими первому классу), и части, где значения потенциала отрицательны (точки в этой части пространства считаются принадлежащими второму классу). Поверхность, на которой потенциал принимает нулевые значения, является разделяющей поверхностью.

В [] отмечена возможность реализации классификаторов, формирующих потенциальное поле, на базе нейронных структур. Подобные классификаторы, часто называемые классификаторами с радиальной базисной функцией (radial basis function classifiers), являются одним из типов классификаторов ядер (kernel classifiers), поскольку их структура сходна с классификаторами, использующими функции ядер для восстановления плотности вероятности классов (см. п.). Особенность классификаторов по методу потенциальных функций заключается в более сложном обучении, при котором корректируются веса, соответствующие различным ядрам. Это позволяет добиться безошибочной классификации обучающей выборки (если это необходимо) и уменьшить память классификатора.