РассылкаМиАПР -2015 / vasileva_i_k_elcov_p_e_metody_raspoznavaniya_obrazov_uchebno

Лабораторная работа № 3

МЕТОДЫ РАЗДЕЛЯЮЩИХ ФУНКЦИЙ

Цель работы:

–изучить непараметрические методы «обучения с учителем», основанные на линейных разделяющих функциях и методику построения кусочно-линейных решающих правил;

–получить навыки статистического оценивания показателей качества классификации с использованием системы MathCAD для моделирования и представления объектов в виде данных наблюдений.

Теоретические сведения

Обучением называют процесс выработки в некоторой системе той или иной реакции на группы внешних идентичных сигналов путем многократного воздействия на систему внешней корректировки. Механизм генерации этой корректировки определяет алгоритм обучения. Рассмотрим некоторые методы обучения с "учителем".

Метод построения эталонов

Для каждого класса по обучающей выборке строится эталон, имеющий значения признаков:

где K – количество объектов данного образа в обучающей выборке. По существу, эталон – это усреднённый по обучающей выборке

абстрактный объект. Абстрактным его называют потому, что он может не совпадать не только ни с одним объектом обучающей выборки, но и ни с одним объектом генеральной совокупности.

Распознавание осуществляется следующим образом. На вход

системы поступает объект xr , принадлежность которого к тому или иному образу не известна. От этого объекта измеряются расстояния

до эталонов всех образов, и система относит xr к тому образу, расстояние до эталона которого минимально.

- 30 -

Методы разделяющих функций

Разделяющая функция, представляемая линейной комбинацией компонент xr, может быть записана в виде

где w – весовой вектор; w0 – порог.

В основу линейного классификатора для двух классов положено следующее решающее правило: если g(xr )>0 , то наблюдается класс a1, если g(xr )<0, то класс a2.

Уравнение g(x)=0 определяет поверхность решений, отделяющих точки, соответствующие решению a = a1, от точек, соответствующих решению a = a2.

- 31 -

y

1

Рис. 3.4. Изображение исходных данных

б) запишем уравнение нормали к отрезку [ξ1, ξ4], проходящей

через точку Μ1:

y =−(x +0.5) 00 +−11 +0.5 = x +1;

в) линия раздела между точками ξ1 и ξ4

g1(x, y) = y − x − 1 = 0.

4. Проведем границу между точками ξ2 a1 и ξ4 a2. Поскольку данные точки лежат на координатной оси 0y, то эта граница согласно правилу ближайшего соседа будет проходить перпендикулярно оси 0y через точку Μ2 – середину отрезка [ξ2, ξ4]:

Следовательно, y = −0.5 и g2(x, y) = y + 0,5 = 0.

5. Точка пересечения линий g1(x, y) = 0 и g2(x, y) = 0 – это точка излома S1 кусочно-линейной границы g1(x, y) = 0 между классами a1

иa2; координаты этой точки находим из решения системы уравнений:

-36 -

y = x +1;

y =−0.5.

Тогда S1 = S1(−1.5, −0.5).

6. Аналогичным образом находим уравнения линий, разделяющих остальные пары точек, и координаты точек излома Sk(xk, yk) границы g1(x, y) = 0. Результаты расчетов представлены в табл. 3.2.

Вид границы g1 между классами показан на рис. 3.5.

S0

S3 S4

S2

S1

S5

Рис. 3.5. Граница между классами g1

7. Составим алгоритм классификации объектов a1 и a2 с использованием кусочно-линейной границы g1(x, y) = 0.

Обозначим γ1 – принятие решения о том, что наблюдается класс a1, γ2 – принятие решения о том, что наблюдается класс a2. Линии x = xk (проходящие через точки Sk параллельно оси 0y) делят плоскость x0y на области Gk принятия решения по следующим правилам:

- 37 -

{если x < −1.5, тогда γ1, иначе если x [−1.5, 0], то

если −0.5 ≤ y ≤ x + 1, тогда γ2, иначе γ1,

можно провести границу между классами после статистической обработки данных – нахождения средних выборочных значений:

mrξ | ai = 1 ∑ni ξrj ξrj ai ,

ni j=1

где mξ | ai – вектор средних значений координат (xj, yj) двумерных данных ξj , принадлежащих классу ai, (i = 1, 2 – номер класса),

ni – объем выборки данных класса ai.

Определим компоненты векторов m1 =(m10 , m11 ) и m2 =(m20 , m21 ) – статистических оценок математических ожиданий

9. Найдем уравнение границы g2 между классами a1 и a2 после усреднения данных наблюдений. Эта граница проходит через точку с

g2(x, y) = x − 0.5 = 0.

Расположение данных, их средних значений ( m1 и m2 ) и граница между классами показаны на рис. 3.6.

m1 m2

Рис. 3.6. Граница между классами g2

10. Для экспериментальной проверки качества работы классификаторов по правилам (3.3) и (3.4) смоделируем результаты наблюдений – массивы ({x1i}; {y1i}) и ({x2i}; {y2i}), соответствующие классам a1 и a2.

Подробно рассмотрим только случай класса a1.

Считаем, что x1 и y1 – некоррелированные компоненты двумерной случайной величины, подчиняющейся нормальному закону распределения с МО m1=(m10 , m11 ) и среднеквадратическим отклоне-

нием (СКО) σ1=(σ10 , σ11 ). В качестве значений параметров распределения примем их статистические оценки:

МО: m10 = 0; m11 = 0 (см. п. 8);

дисперсия: