
- •Типовая задача восстановления закономерностей в множествах объектов реального мира
- •Концептуальная база восстановления зависимостей: гипотеза компактности
- •Диполь в метрическом пространстве
- •Простейшая реализация гипотезы компактности
- •Более «тонкая» реализация гипотезы компактности для непрерывного метрического пространства
- •Идеальные условия для реализации гипотезы компактности: Евклидова метрика в конечномерном линейном пространстве
- •Метод опорных векторов: Выпуклая форма критерия
- •Метод опорных векторов: Выпуклая форма критерия
- •Метод опорных векторов: Выпуклая форма критерия
- •Повтор: Диполь в метрическом пространстве
- •Простейшая реализация гипотезы компактности
- •Более «тонкая» реализация гипотезы компактности для непрерывного метрического пространства
- •Оптимальная эластичная деформация растров пары изображений
- •Среднее арифметическое изображение
- •Среднее арифметическое изображение
- •Евклидовы метрики
- •Евклидовы метрики
- •Евклидовы метрики
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Пополнение метрического пространства с евклидовой метрикой
- •Линейные операции в евклидовом метрическом пространстве
- •Потенциальная функция (кернел) на множестве объектов, определяемая евклидовой метрикой
- •Евклидова метрика на множестве объектов, определяемая потенциальной функцией (кернелом)
- •Линейный принцип восстановления зависимостей на основе потенциальной функции (Kernel-based Dependence Estimation)
- •Аффинные операции в евклидовом метрическом пространстве
- •Аффинные операции в евклидовом метрическом пространстве
- •Аффинные операции в евклидовом метрическом пространстве
- •Аффинные операции в евклидовом метрическом пространстве
- •Евклидово аффинное пространство
- •Евклидово аффинное пространство
- •Евклидово аффинное пространство
- •Евклидово аффинное пространство
- •Евклидово аффинное пространство
- •Евклидово аффинное пространство
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения распознаванию объектов двух классов: Принцип максимизации зазора (аналог задачи svm)
- •Задача обучения для произвольной функции попарного сравнения объектов: Relational Dependence Estimation
- •Обучение для заданной функции попарного сравнения с отбором базисных объектов: Relevance Object Machine
- •Обучение для заданной функции попарного сравнения с отбором базисных объектов: Relevance Object Machine
- •Обучение для заданной функции попарного сравнения с отбором базисных объектов: Relevance Object Machine
- •Обучение для заданной функции попарного сравнения с отбором базисных объектов: Relevance Object Machine
- •Обучение для заданной функции попарного сравнения с отбором базисных объектов: Relevance Object Machine
- •Relevance Object Machine – выпуклый критерий обучения в линейном пространстве вторичных признаков
- •Более общая концепция: Несколько разных функций парного сравнения объектов
- •Более общая концепция: Несколько разных функций парного сравнения объектов
- •Типичная зависимость ошибки на контроле и числа релевантных объектов от уровня селективности вторичных признаков
- •Частный случай: Метрика как функция попарного сравнительного представления объектов
- •Р егуляризованный критерий обучения в метрическом пространстве объектов
Линейные операции в евклидовом метрическом пространстве
Произвольный выбор
центра метрического пространства
.
Умножение
элемента
|
Сложение элементов
|
|
|
|
|
Скалярное произведение двух элементов (потенциальная функция, кернел) |
|
- Сложение коммутативно и ассоциативно ;
- существует нулевой элемент , ;
- для каждого элемента существует обратный ему элемент ;
- умножение ассоциативно ;
- умножение на единицу оставляет элемент без изменения ;
- сложение и умножение дистрибутивны , ;
- скалярное
произведение линейно,
;
-
,
причем
тогда и только тогда, когда
;
-
.
Потенциальная функция (кернел) на множестве объектов, определяемая евклидовой метрикой
Множество объектов реального мира
евклидова метрика
:
условно положительно определенные матрицы
пополнение
метрического пространства
всеми соосными элементами
и продолжение евклидовой метрики
выбор центра
линейные операции
в
с нулевым элементом
и скалярным произведением
– полож. опред.
матрицы
преобразование
кернела при изменении центра
Евклидова метрика
в
порождает класс линейных пространств
с разными нулевыми элементами, разными
линейными операциями, разными скалярными
произведениями, но с одной и той же
евклидовой метрикой
.
Евклидова метрика на множестве объектов, определяемая потенциальной функцией (кернелом)
Множество объектов реального мира
кернел
:
положительно
определенные матрицы
евклидова метрика
– условно полож. опр. матрицы
пополнение метрического пространства всеми соосными элементами и продолжение евклидовой метрики
центр автоматически
определен как
:
линейные
операции в
с нулевым элементом
и скалярным произведением
преобразование
кернела при изменении центра
Класс эквивалентных
кернелов в
порождает класс линейных пространств
с разными нулевыми элементами, разными
линейными операциями, разными скалярными
произведениями, но с одной и той же
евклидовой метрикой
.
Линейный принцип восстановления зависимостей на основе потенциальной функции (Kernel-based Dependence Estimation)
Объекты
|
Объекты
.
Линейный принцип в
|
Распознавание объектов двух классов, метод опорных векторов |
|
Критерий обучения в :
|
Критерий обучения в :
|
Двойственная задача:
|
Двойственная задача:
|
Правило классификации нового объекта:
|
Правило классификации нового объекта:
|
Напомним: Существует континуум линейных пространств и кернелов, выражающих одну и ту же евклидову метрику, различающихся лишь выбором нулевого элемента. |
Правило классификации
нового объекта, полученное по обучающей
совокупности, определяется только
взаимными евклидовыми расстояниями
между объектами обучающей совокупности
В частности, в :
|
|
В линейном пространстве , определяемом кернелом:
Правило классификации нового объекта:
При переносе нуля
линейного пространства коэффициенты
,
определяющие расстояние объекта от
метрической гиперплоскости, будут
изменяться, но состав множества опорных
объектов и само значение расстояния
остается неизменным.
Как обойтись без
выбора нулевого элемента при погружении
множества объектов с евклидовой метрикой
в линейное пространство?
Как обеспечить
возможность интерполяции непосредственно
между элементами евклидова метрического
пространства при выборе метрической
гиперплоскости?
Аффинные операции в евклидовом метрическом пространстве
Пусть – множество объектов реального мира с евклидовой метрикой :
,
если
.
Аффинные операции в евклидовом метрическом пространстве
Пусть – множество объектов реального мира с евклидовой метрикой :
, если .
Пусть – евклидово метрическое пространство, являющееся его неограниченным выпуклым замыканием.
Аффинные операции в евклидовом метрическом пространстве
Пусть – множество объектов реального мира с евклидовой метрикой :
, если .
Пусть – евклидово метрическое пространство, являющееся его неограниченным выпуклым замыканием.
Напомним, что
евклидово
метрическое пространство
вместе с любой парой его элементов
содержит также и всю определяемую ими
ось
.
Аффинные операции в евклидовом метрическом пространстве
Пусть – множество объектов реального мира с евклидовой метрикой :
, если .
Пусть – евклидово метрическое пространство, являющееся его неограниченным выпуклым замыканием.
Напомним, что евклидово метрическое пространство вместе с любой парой его элементов содержит также и всю определяемую ими ось .
Обобщим понятие
соосности на произвольную конечную
неупорядоченную совокупность элементов
евклидова метрического пространства
.
Пусть
– числовой вектор, такой что условию
,
т.е.
.
Р
,
.