24. Задача трех классов образов по критерию минимального расстояния
Ранее рассматривались
аспекты так называемой задачи двух
классов . Распространим эти понятия на
общий случай трёх классов:
,
,
.
Пусть обучающее множество записывается
как
В этом случае средние векторы образов равны
Классификатор,
работающий по минимуму расстояния имеет
следующее решающее правило : данный
образ
принадлежит
, если
ближе всего к
,
Пусть
обозначает расстояние образа
от
. Тогда получим
Упрощение
приводит к
(24.1)
Очевидно, что
минимально, когда величина
максимальна. Поэтому вместо вычисления
по формуле (24.1) проще потребовать, чтобы
в классификаторе вычислялось значение
. Классификатор в этом случае описывается
дискриминантными функциями.
Подстановка
численных значений
и
приводит к
Таким образом,
классификатор вычисляет три числа:
,
и
, а затем сравнивает их. Классификатор
относит
к классу
,
если
максимально , к классу
,
если
максимально и к классу
,
если
максимально.
Рис. 24.1 Двумерное пространство признаков связанное с , , .
Рис. 24.2 Классификатор для трёх классов образов, работающий по критерию минимального расстояния.
Рис. 24.3 Классификатор для классов образов , работающий по критерию минимального расстояния.
25. Метод отображения по алгоритму наименьших квадратов
При обсуждении
классификаторов, работающих по критерию
наименьшего расстояния, предполагалось,
что классы образов в пространстве
признаков группируются вокруг
соответствующих им средних
. Однако, возможен и другой подход. При
этом классификатор должен в первую
очередь отображать образы в пространство
решений, в котором образы , принадлежащие
обязательно группируются вокруг заранее
выбранной точки
.
Преобразование
,
которое позволяет осуществлять это
отображение из пространства признаков
в пространство решений в общем случае
выбирается таким , чтобы общая
среднеквадратичная ошибка была
минимальной .Для классификации некоторого
образа этот образ сначала отображается
в пространство решений, а затем
классифицируется как принадлежащий
,
если он отображён ближе к точке
.
Введём отображение по методу наименьших квадратов, на котором основываются классификаторы с минимальным среднеквадратичным расстоянием .
Рассмотрим множество
-
мерных образов
,
, которые должны отображаться в
определённую точку в
-
мерном пространстве , обозначаемую
.
Найдём преобразование , которое отображает в точку , таким образом, чтобы общая среднеквадратичная ошибка, вызываемая отображением , была минимальной.
Обозначим результат
отображения образа
через
.
Тогда соответствующий вектор ошибки
будет равен
(25.1)
Из выражения (25.1) следует , что общая среднеквадратичная ошибка при отображении в определяется как
(25.2)
Подстановка (25.1) в (25.2) приводит к
(25.3)
Так
как
должно быть выбрано так , чтобы
было минимальным, то оно получается в
результате решения уравнения
,
что приведёт к
(25.4)
Поскольку
то подстановка в (25.4) приведёт к
что позволяет определить как
Рассмотрим пример . Пусть множество имеет вид
что
соответствует
.
Пусть
тогда
Тогда
Далее вычислим
Рис. 25.1
Понятие расширенного пространства признаков необходимо при разработке классификатора с минимальным среднеквадратичным расстоянием.
Такое понятие вытекает из определения дискриминантной функции
В матричном виде это соотношение можно записать как
,
где
Из последнего
соотношения следует , что
можно получить из данного образа
приписыванием к нему дополнительной
координаты, равной -1. Пространство ,
состоящее из
-мерных
образов
, называется расширенным пространством
признаков.