Линейные методы восстановления зависимостей по эмпирическим данным Оглавление
1 Типовая задача восстановления закономерностей в множествах объектов реального мира 2
1.1 Типовая задача восстановления закономерностей в множествах объектов реального мира 2
1.2 Обучение по прецедентам 2
1.3 Концептуальная база восстановления зависимостей: Гипотеза компактности. 2
1.4 Диполь в метрическом пространстве 2
1.5 Идеальные условия для реализации гипотезы компактности: Евклидова метрика в конечномерном линейном пространстве 3
2 Обучение распознаванию двух классов объектов по методу опорных векторов 4
2.1 Концепция оптимальной разделяющей гиперплоскости в пространстве действительных признаков объектов и классический метод опорных векторов 4
2.2 Вероятностная интерпретация классического метода опорных векторов 8
2.2.1 Вероятностная постановка задачи обучения распознаванию двух классов объектов посредством выбора разделяющей гиперплоскости 8
2.2.2 Априорные и апостериорные вероятности классов объектов 10
2.2.3 Классический метод опорных векторов: Частный случай идентичных независимых нормальных априорных распределений элементов направляющего вектора с одной и той же известной дисперсией 11
2.2.4 Обобщенный метод опорных векторов со взвешенными признаками: Идентичные независимые нормальные априорные распределения элементов направляющего вектора с известными разными дисперсиями 11
3 Отбор подмножества информативных признаков в процессе обучения распознаванию двух классов объектов по методу опорных векторов: Метод релевантных признаков 13
3.1 Независимые совместные априорные нормальные-гамма распределения элементов направляющего вектора и их дисперсий 13
3.2 Метод опорных векторов с релевантными компонентами: Relevance Feature Support Vector Machine (RFSVM) 14
3.3 Алгоритм обучения с заданной селективностью отбора признаков 16
4 Отбор подмножества информативных признаков в процессе обучения распознаванию двух классов объектов по методу опорных векторов: Метод опорных признаков 18
4.1 Независимые идентичные комбинированные распределения элементов направляющего вектора 18
4.2 Двойственная задача обучения 18
4.3 Итерационный алгоритм численного решения двойственной задачи 21
5 Задача оценивания числовой зависимости 23
5.1 Линейная модель числовой зависимости. Центрированная и нормированная обучающая совокупность 23
5.2 Критерий оценивания числовой зависимости Elastic Net 24
5.3 Двойственная задача 25
5.3.1 Общий вид функции Лагранжа 25
Литература 26
1Типовая задача восстановления закономерностей в множествах объектов реального мира
1.1Типовая задача восстановления закономерностей в множествах объектов реального мира
Некоторое множество реально существующих
объектов
.
Некоторое множество значений скрытой
характеристики объектов
.
Объективно существующая скрытая функция
.
Желание наблюдателя:
Иметь инструмент оценивания скрытой характеристики для реальных объектов
;
– ошибка.
1.2Обучение по прецедентам
Обучение по прецедентам:
Подмножество наблюдаемых объектов, для
которых измерено значение функции
,
.
Задача: Продолжить функцию на все
множество
,
так чтобы можно было в дальнейшем
оценивать значение рассматриваемой
характеристики
для новых объектов
.
Простейшие случаи:
Задача распознавания образов
– конечное неупорядоченное множество;
в частности
.
Задача восстановления числовой функции
– множество действительных чисел.