§ 5. Алгоритмы классификации в режиме с обучением

Задача классификации в режиме с обучением уже была сформулирована: имеется k классов

k , (2.8)

описанных своими основными признаками, новый объект Xнужно отнести к одному из имеющихся классов. Дадим описание нескольких алгоритмов, по которым проводится классификация в этом режиме.

5.1. Алгоритм классификации по расстоянию

Для простоты и наглядности рассмотрим случай p = 2, k = 2. Пусть классы₁, ₂ представлены своими обучающими выборками

(2.9)

n₁ – число наблюдений класса₁ , n₂ – число наблюдений класса₂. Новое наблюдение X нужно отнести только к одному классу₁или₂. На рис. 2.5 представлена описанная ситуация.

Зададим на множестве Хⁿ X⁽ⁿ⁾ = расстояниеr(X_i , X_j), X_i , X_j X⁽ⁿ⁾ , n=n₁+n₂, и вычислим среднее расстояние от испытуемой точкиX до всех точек каждого класса:

,

.

Если имеем

r₁ < r₂ , (2.10 a)

то наблюдаемая точка Xотносится к классу₁. Если

r₂ < r₁ , (2.10 b)

то точка Х относится к ₂. Если

r₂ = r₁ , (2.11)

то точку Xможно отнести к любому из имеющихся классов. Уравнение (2.11) есть уравнение границы классов Г. Граница Г делит пространство признаковR на два подпространстваR₁ иR₂ , которые содержат классы,

, .

Так что, если испытуемая точка Xпопадает в областьR₁(R₂), то естественно считать, что она принадлежит классу ₁ (₂).

Замечание. Если для испытуемой точки Y(рис. 2.5) имеет место одно из соотношений (2.10), (2.11) но значенияr₁ и r₂ очень велики, например, больше минимальногодиаметра классов d₁ , d₂

min(r₁ , r₂)  min(d₁ , d₂),

то не следует относить ее к одному из данных классов [6]. В этом случае правильным является решение: точкаY представляет новый класс₃ . Поэтому для принятия правильного решения по соотношениям (2.10), (2.11) вводится порог r_пор для значенийr₁ , r₂ ,

min(r₁ , r₂)r_пор,

Например, можно положить

r_пор =min(d₁ , d₂), 0,5 <  < 1.

5.2. Корреляционный алгоритм

Этот метод состоит в определении корреляции рассматриваемого объекта с каждым из эталонов, представляющих классы. Эталоны – векторы средних значений элементов каждого класса. Решающее правило: объект Xотносится к тому классу, для которого коэффициент корреляции наибольший.

Классы _1, ₂ представлены своими обучающими выборками (2.9), изображенными на рис. 2.6.

Эталоны классов _1, ₂ — их средние значения определяются по формулам:

Корреляция объектов–векторов определяется косинусом угла между ними. Косинус угла между векторами находится из их скалярного произведения:

Отсюда имеем:

(2.12)

Скалярное произведение векторов

и их модули выражаются через их координаты:

Вычислив по формулам (2.12), переходят к их сравнению. Если, то элементX относится к классу₁. Если, то элементXотносится к классу₂ (рис. 2.6). Если

, (2.13)

то элемент X можно отнести к любому из классов₁,_2. Уравнение (2.13) –– уравнение границы классов Г.

Решения, получаемые с помощью корреляционного метода, базируются на угловой близости точек X, μ₁, μ₂. Метод полезен, если каждый из углов₁,₂, охватывающий подмножества наблюдений из одного класса, мал по сравнению с углом между эталонами(рис. 2.6),

(2.14)

Но если хотя бы одно из соотношений (2.14) не выполняется, то корреляционный метод не применим, он может дать большие ошибки, так как часть точек из класса ₁ будет отнесена к классу₂(рис.2.7).

Корреляционный метод часто применяют при распознании букв машинописного текста.

5.3. Регрессионный алгоритм

Регрессионный алгоритм (РА) применяется в случае, когда обучающие выборки классов (2.9) сосредоточены вдоль некоторых линий, называемых линиями регрессий (рис. 2.3, 2.8). Если линии регрессий являются прямыми (рис. 2.8), то зависимость между координатами каждой точки из одного класса (₁ и ₂) можно представить в виде:

где _i –– отклонение ординаты точкиот ординаты точки. Аналогично,_j –– отклонение ординаты точкиот ординаты точки(рис. 2.8).

Каждая прямая регрессии (,) проходит через средние точки соответствующего класса. Из уравнений (2.15) имеем:

Рис. 2.8

Неизвестные коэффициенты a, b иc, dв системах (2.16 ) определяются методом наименьших квадратов (МНК), минимизирующим сумму квадратов отклонений от каждой прямой регрессии[4, 8, 9].

Для системы уравнений (2.16а) имеем

. (2.17 a)

Для удобства введем обозначение:

. (2.17 b)

Минимум функции находится из необходимых условий ее экстремума:

, .

Продифференцировав функцию поa иb и приравняв полученные выражения частных производных к нулю, после простых алгебраических операций получим систему нормальных уравнений:

(2.18)

Из системы (2.18) легко находятся оценки параметров a иb, являющиеся функциями наблюдений:

, .

Доказано, что при значениях a иb, определяемых из уравнений (2.18), функция (2.17) имеет минимум[7].

Аналогично методом наименьших квадратов из уравнений (2.16b) оцениваются значения параметров с, d.

Таким образом, получаются уравнения линий регрессий, описывающих классы ₁ и₂,

_,

Поиск уравнения регрессии для каждого класса относится к процессу обучения. Чтобы отнести испытуемое наблюдение Xк одному из имеющихся классов, необходимо вычислить расстояния от точкиX до линий регрессийи,r(x,), r(x,) соответственно.

Если r(X,) < r(X,), то Х относится к классу₁.

Если r(X,) < r(X,), то X относится к классу₂.

Если

r(X,) = r(X,), (2.19)

то X можно отнести к любому из классов₁,₂. Уравнение (2.19) – уравнение границы классов₁,₂, уравнение биссектрисуглов между прямымии. Если линии регрессииипараллельны, то границей классов₁,₂ является прямая Г, параллельная прямым,и равноудаленная от них.

Регрессионный алгоритм не применим, если один из классов попадает в точку пересечения линий регрессии (рис. 2.9). В этом случае РА дает большую ошибку, значительная часть точек класса₂по правилу классификации относится к классу₁.

При в случае линейной регрессии имеем систему уравнений:

, i = 1, 2, …, n₁ .

Оценки для неизвестных параметров a₁, a₂, …, a_p находятся методом наименьших квадратов.

Одна из основных задач регрессионного анализа – задание уравнений регрессий

, ,

наиболее согласующегося с исходными наблюдениями (2.9). Проверка такой согласованности проводится по статистическим критериям [8].

В научно-практических исследованиях широко используются такие виды регрессий, как полиномиальные, экспоненциальные, логарифмические, тригонометрические и др.