105

Линейные методы восстановления зависимостей по эмпирическим данным

В.В. Моттль

Вычислительный центр РАН

Московский физико-технический институт

О.С. Середин

Тульский государственный университет

Типовая задача восстановления закономерностей в множествах объектов реального мира

Некоторое множество реально существующих объектов .

Некоторое множество значений скрытой характеристики объектов .

Объективно существующая скрытая функция .

Желание наблюдателя:

Иметь инструмент оценивания скрытой характеристики для реальных объектов

; – ошибка.

Обучение по прецедентам:

Подмножество наблюдаемых объектов, для которых измерено значение функции , .

Задача: Продолжить функцию на все множество , так чтобы можно было в дальнейшем оценивать значение рассматриваемой характеристики для новых объектов .

Типовая задача восстановления закономерностей в множествах объектов реального мира

Некоторое множество реально существующих объектов .

Некоторое множество значений скрытой характеристики объектов .

Объективно существующая скрытая функция .

Желание наблюдателя:

Иметь инструмент оценивания скрытой характеристики для реальных объектов

; – ошибка.

Простейшие случаи:

Задача распознавания образов – конечное неупорядоченное множество; в частности .

Задача восстановления числовой функции – множество действительных чисел.

Концептуальная база восстановления зависимостей: гипотеза компактности

Множество объектов реального мира Скрытая характеристика объекта (целевая характеристика) Искомое решающее правило

Основная идея:

Выбрать в множестве объектов некоторую метрику

, , если ,

Принимать для близких объектов близкие решения

в задаче распознавания образов

в задаче восстановления числовой зависимости

Выбор метрик удачен, если для них выполняется гипотеза компактности

(Эммануил Маркович Браверман, 1961):

Для пар объектов , похожих в смысле выбранной метрики ,

значения целевой характеристики также в большинстве случаев близки .

Диполь в метрическом пространстве

Метрическое пространство объектов реального мира: , – метрика

Диполь в метрическом пространстве – упорядоченная пара:

Простейшая реализация гипотезы компактности

Принадлежность произвольного объекта к одному из двух классов

Как выбрать диполь?

В множестве объектов слишком мало элементов. К тому же, наблюдатель располагает лишь конечной обучающей совокупностью объектов

Более «тонкая» реализация гипотезы компактности для непрерывного метрического пространства

– воображаемое непрерывное метрическое пространство, в котором множество реальных объектов является подмножеством, быть может, изолированных элементов.

, – метрическая гиперплоскость в

– проекция реального объекта на гиперплоскость в

Р ешающая функция (score function): расстояние точки от гиперплоскости в с учетом знака
	Классификация: Числовая зависимость:

Идеальные условия для реализации гипотезы компактности: Евклидова метрика в конечномерном линейном пространстве

Вектор действительных признаков погружает множество реальных объектов в

Естественная евклидова метрика в

Диполь: , ; – направляющий вектор гиперплоскости

Смещенная гиперплоскость, определяемая диполем: ,

Решающая функция – decision (score) function: Расстояние от точки до гиперплоскости , при

Ф

Двухклассовое распознавание: Метод опорных векторов

Двухклассовое распознавание: Метод логистической регрессии

Линейная модель числовой зависимости с квадратичной функцией потерь

ункция потерь: Степень несоответствия значения решающей функции значению целевой характеристики объекта

Индекс класса объекта Числовая характеристика
	Метод опорных векторов

Метод опорных векторов (Support Vector Machine – SVM): Принцип максимального зазора (margin) между классами

Обучающая совокупность , ,

	Требование максимизации зазора между линейно разделимыми классами
	Требование минимизации суммы штрафов

Компромисс:

Оптимизация на сфере : Невыпуклый критерий обучения

Метод опорных векторов: Выпуклая форма критерия

Невыпуклый критерий	Замена переменных
	, , тогда
Результат замены:
Выпуклый критерий обучения: Задача квадратичного программирования переменных, ограничений

Метод опорных векторов: Выпуклая форма критерия

Выпуклый критерий обучения: Задача квадратичного программирования переменных, ограничений
Двойственная форма задачи: Задача квадратичного программирования П опорные векторы еременные соответствуют обучающим объектам

, ,

Правило классификации нового объекта

Эквивалентная запись