6.Классификация алгоритмов распознавания

1. Статистические

-параметрические

-оценка параметров распределений;

-непараметрические

-метод парзеновского окна;

2. Эвристические

-сходство

-метод ближайших соседей;

-метод потенциальных функций;

-отбор эталонных объектов.

-разделимость

-линейный дискриминант Фишера;

-метод опорных векторов

-логические закономерности

-деревья решений;

-ассоциативные правила;

3. Нейронные сети

7. Параметрические и непараметрические алгоритмы восстановления плотностей.

Статистические подходы

Оценивание априорных вероятностей частотами

s=M(s)/M, где М(s) – число объектов класса s в обучающей выборке

Оценивание условных вероятностей (функций правдоподобия) для каждого класса сводится к следующей задаче:

Дано:

Аm = {а1, . . . , аm} простая выборка (xi без ответов yi).

Найти:

эмпирическую оценку плотности (x), аппроксимирующую истинную плотность p(x) на всём X:

(x) → p(x) при m → ∞.

Существует несколько основных подходов к оцениванию плотностей

Параметрическое оценивание плотности:

(x) = ϕ(x, θ).

Восстановление смеси распределений:

(x) =w1ϕ(x, θ1 )+…+wkϕ(x, θk ), k < m.

Непараметрическое оценивание плотности:

пропорциональна m(V)/|V|, где V – локальная окрестность точки x.

8 Линейный дискриминант Фишера

Линейный дискриминант Фишера в первоначальном значении - метод, определяющий расстояние между распределениями двух разных классов объектов или событий. Он может использоваться в задачах машинного обучения при статистическом (байесовском) подходе к решению задач классификации.

Предположим, что обучающая выборка удовлетворяет помимо базовых гипотез байесовского классификатора также следующим гипотезам:

Классы распределены по нормальному закону

Матрицы ковариаций классов равны

Такой случай соответствует наилучшему разделению классов по дискриминанту Фишера (в первоначальном значении). Тогда статистический подход приводит к линейному дискриминанту, и именно этот алгоритм классификации в настоящее время часто понимается под термином линейный дискриминант Фишера.

10. Метод потенциальных функций

Метод потенциальных функций - метрический классификатор, частный случай метода ближайших соседей. Позволяет с помощью простого алгоритма оценивать вес («важность») объектов обучающей выборки при решении задачи классификации.

Идея метода

Общая идея метода иллюстрируется на примере электростатического взаимодействия элементарных частиц. Известно, что потенциал («мера воздействия») электрического поля элементарной заряженной частицы в некоторой точке пространства пропорционален отношению заряда частицы (Q) к расстоянию до частицы (r): .

Метод потенциальных функций реализует полную аналогию указанного выше примера. При классификации объект проверяется на близость к объектам из обучающей выборки. Считается, что объекты из обучающей выборки «заряжены» своим классом, а мера «важности» каждого из них при классификации зависит от его «заряда» и расстояния до классифицируемого объекта.

Каждому объекту приписывается заряд

+1-первому образу

-1-второму образу

Измеряется суммарный потенциал во всех точках поля

P=1/(r*r+a)

Распознавание производится по знаку потенциала

Описание алгоритма

1. Инициализация: для всех ;

2. Повторять пункты 3-4, пока (то есть пока процесс не стабилизируется):

3. Выбрать очередной объект из выборки ;

4. Если , то ;

5. Вернуть значения для всех .