18. Понятие vc-измерения (Вапника-Червоненкиса). Оценки обобщающей способности в задаче классификации. Теорема об универсальной аппроксимации.

Размерность Вапника — Червоненкиса или VC-размерность — это характеристика семейства алгоритмов для решения задачи классификации с двумя классами, характеризующая сложность или ёмкость этого семейства. Это одно из ключевых понятий в теории Вапника-Червоненкиса о статистическом машинном обучении, названное в честь Владимира Вапника и Алексея Червоненкиса.

Определение: VC-измерением F называется мощность наибольшего множества X, разбиением которого является F. Другими словами VC-измерением F является самое большое значение N для которого . В более знакомых терминах это утверждение можно переформулировать следующим образом. VC-измерение множества функций классификации {F(x,w): w ∈ W}

Это максимальное число образов на которых машина может быть обучена без ошибок для всех возможных бинарных маркировок функций классификации.

Пусть задано множество и некоторое семейство индикаторных функций (алгоритмов классификации, решающих правил) , где — аргумент функций, — вектор параметров, задающий функцию. Каждая такая функция сопоставляет каждому элементу множества один из двух заданных классов. VC-размерностью семейства называется наибольшее число , такое, что существует подмножество из элементов множества , которые функции из могут разбить на два класса всеми возможными способами. Если же такие подмножества существуют для сколь угодно большого , то VC-размерность полагается равной бесконечности.

VC-размерность можно обобщить и на случай семейства функций , принимающих действительные значения. Его VC-размерность определяется как VC-размерность семейства индикаторных функций , где пробегает область значений функций .

Как пример, рассмотрим задачу о разбиении точек на плоскости на два класса прямой линией — это так называемый линейный классификатор. Множество из любых трёх точек, не лежащих на одной прямой, может быть разделено прямой линией на два класса всеми возможными способами ( способами, на рисунке ниже показаны три из них), но множества из четырёх и более точек — уже нет. Поэтому VC-размерность линейного классификатора на плоскости равна трём.

Примеры разделения трех точек на два класса			Разделение невозможно для этих четырех точек

В общем случае, VC-размерность линейных классификаторов в -мерном пространстве равна .

Оценка обобщающей способности в задачах классификации:

1. Формула общего случая:

2. Формула при малых значениях ошибки обучения v(w)

При малых(близких к нулю) значениях ошибки обучения v(w) выполняется неравенство:

3. Формула при больших значениях ошибки v(w)

При больших значениях ошибки обучения v(w) выполняется ограничение:

Теорема об универсальной аппроксимации: Пусть φ(●) - ограниченная, не постоянная монотонно возрастающая непрерывная функция. Пусть I_m0 - m0-мерный единичный гиперкуб [0,1]^m0. Пусть пространство непрерывных на I_m0 функций обозначается символом C(I_m0). Тогда для любой функции f C(I_m0) и ε>0 существует такое целое число m₁ и множество действительных констант α_i ,b_i , w_i,j , где i=1,..,m1, j=1,..,m0, что

Является аппроксимацией функции φ(●), т.е. |F(x₁,..,x_m0)-f(x₁,..,x_m0)|<ε

-Сеть содержит m0 входных узлов и один скрытый слой, состоящий из m₁ нейронов. Входы обозначены x₁,x₂,..,x_m0

-Скрытый нейрон i имеет синаптические веса w_i1,...,w_m0 и порог b_i

-Выход сети представляет собой линейную комбинацию выходных сигналов скрытых нейронов, взвешенных синаптическими весами выходного нейрона - α₁,..,α_m1

Ошибка аппроксимации: Если функция f(x) наблюдается на множестве значений {x_i}_i=1^Nвходного вектора х, принадлежащего шару Бг, этот результат определяет следующее ограничение для эмпирического риска (empirical risk):

Или при описании границ риска R, возникающего при использовании многослойного персептрона с m₀ входными узлами и m_i скрытыми нейронами

Дополнение: не входить, убьет