ЛР3

МИНОБРНАУКИ РОССИИ

ФГБОУ ВО

Юго-Западный государственный университет

Факультет фундаментальной и прикладной информатики

Кафедра вычислительной техники

Лабораторная работа №3 «Линейные классификаторы»

Выполнил:
Проверил:

Курск 2021

Цель работы:

Изучение теоретических основ и экспериментальное исследование методов построения линейных классификаторов для распознавания образов.

Ход работы

1) Линейный классификатор, минимизирующий суммарную вероятность ошибочной классификации

Показатель качества критерия оптимальности линейной дискриминантной функции может быть записан в виде:

Необходимым условием минимума рассматриваемого показателя является равенство нулю его частных производных. Отсюда, подставляя выражения для частных производных, получим систему уравнений:

Решая данную систему уравнений можно использовать следующую итеративную процедуру:

где

Из выражения для s получим выражение для w_N:

С помощью полученных выражений для и w_N можно построить график зависимости суммарной вероятности ошибочной классификации R от единственного параметра s и в качестве окончательного ответа принять то значение параметра, при котором R(s) имеет минимум.

Рисунок 1 – Линейный классификатор, минимизирующий суммарную вероятность ошибочной классификации

2) Обобщенная формула построения линейных классификаторов для различных критериев. Классификатор Фишера

Выберем в качестве критерия функцию вида

Для рассматриваемого критерия справедливы следующие соотношения:

Подставляя выражения для частных производных, получим общую систему уравнений:

Подставляя выражение f в общую систему уравнений и игнорируя масштабный множитель линейной функции, получим следующее выражение для вектора весовых коэффициентов дискриминантной функции:

Используя значение s = 0.5, получим выражение для порогового значения дискриминантной функции:

Рисунок 2 – Классификатор Фишера: а – равные корреляционные матрицы; б – неравные корреляционные матрицы

3) Линейный классификатор, минимизирующий СКО решения

СКО между требуемым и действительным значением разделяющей функции определяется выражением (вместо математического ожидания используется среднее по обучающей выборке):

Используя матричную форму записи последнего выражения получим

дифференцируя которое и приравнивая частные производные нулю, получим следующее выражение:

Рисунок 3 – Линейный классификатор, минимизирующий СКО решения: а – равные корреляционные матрицы; б – неравные корреляционные матрицы

4) Стохастическая аппроксимация и процедура Робинсона-Монро

Процедура Робинсона-Монро – это итеративная процедура поиска корня уравнения регрессии. Уравнение регрессии может быть получено в результате следующего итерационного процесса:

Рассмотрим последовательность вида

Зададимся критерием вида:

дифференцируя по , получим

Полученное уравнение является уравнением регрессии.