Національна академія управління

Кафедра інтелектуальних технологій

Контрольна робота з дисципліни «Введення до математичної теорії розпізнавання образів»

Виконав:

Студент 8 групи 6 курсу

Зданович Микола

Київ 2013

1. Линейный классификатор. Алгоритм персептрона

Линейная дискриминантная функция

Рассмотрим задачу построения линейной разделяющей гиперповерхности. Главным достоинством линейного классификатора является его простота и вычислительная эффективность.

Рассмотрим линейную дискриминантную функцию: , где – весовой вектор, – порог. Поведение решения задается уравнением . Пусть и – два конечных множества векторов признаков в евклидовом пространстве, относящихся к классу и соответственно, т.е принадлежит классу при , а принадлежит классу при .

Задача состоит в том, чтобы:

• установить разделимость этих множеств;

• найти разделяющую гиперплоскость.

Рассмотрим сначала в качестве примера двумерную задачу, когда образы представляются точками на плоскости.

Определение. Множество, содержащее отрезок, соединяющий две произвольные внутренние точки, называется выпуклым.

Определение. Выпуклая оболочка – это минимальное выпуклое множество, содержащее данное.

Утверждение. Два множества на плоскости линейно разделимы тогда и только тогда, когда их выпуклые оболочки не пересекаются.

Из этого утверждения получаем следующее правило проверки разделимости множеств на плоскости:

1. Построить выпуклые оболочки.

2. Проверить пересечение выпуклых оболочек. Если они не пересекаются, то множества разделимы.

Очевидно и правило, по которому можно найти разделяющую прямую:

1. Найти ближайшую пару точек в выпуклых оболочках обоих множеств.

2. Построить срединный перпендикуляр к отрезку, соединяющему эти точки. Этот перпендикуляр и будет разделяющей прямой.

Пусть размерность вектора признаков и вектора коэффициентов равна . Рассмотрим "пополненные" вектора следующего вида: – пополненный весовой вектор, – пополненный вектор признаков. Рассмотрим также в -мерном пространстве однородную линейную функцию .

Очевидно следующее

Утверждение. Множества и линейно разделимы в пространстве дискриминантной функцией тогда и только тогда, когда они разделимы в пополненном пространстве однородной дискриминантной функцией .

Далее будем рассматривать дискриминантные функции и вектора в пополненном пространстве.

Определение. Множество называется симметричным множеством к множеству .

Утверждение. Два замкнутых множества и разделимы тогда и только тогда, когда выпуклая оболочка множества не содержит начала координат.

Доказательство. Пусть множества и разделимы. Тогда существует линейная функция такая, что при и при . Рассмотрим множество , тогда при . Следовательно, для выпуклой линейной комбинации из , а это означает, что , т.к. – замкнутое. Здесь обозначает начало координат.

Пусть , и пусть – ближайшая к началу координат точка из . Плоскость с направляющим вектором не пересекает , а, значит, на . Следовательно, на .