13. Метод разделяющей функции.

Метод разделяющей функции. Будем искать L функций D₁(х),…,D_L (х), таких, что для всех x из класса K_i , i = 1, . . ., L, значение i-й функции D_i на х, т.е. D_i(х), будет больше, чем значение на x всех остальных функций. Такие функции D_i(х) называются разделяю­щими (дискриминантными). Не задаваясь априори никакими дополнительными свойствами функций D_i, отыскать их будет затруднительно. Поэтому обычно берут не про­извольные разделяющие функции, а обладающие неко­торыми простыми свойствами.

Рассмотрим линейные раз­деляющие функции D_i(х), т.е. функции вида

D_i(х) = α x + α x + …+α x + α , где x = (x₁ ,x₂ ,…,x_n); α , α , …,α , α - константы.

Если искать разделяющие функ­ции среди линейных, то граница раздела между классами в пространстве Х есть плоскость в n-мерном пространстве X.

Не умаляя общности будем считать, что L = 2. Это предположение, не является стеснительным.

Если предполагать, что такая плоскость существует, то в соответствии с теоремой Новикова за конечное число шагов можно добиться построения разделяющей классы плоскости.

Если же предполагать существование плоскости, раз­деляющей два класса, то линейная разделяющая функция должна строится так, чтобы число неправильных рас­познаваний элементов обучающей последовательности бы­ло минимально.

В том случае, когда L > 2, можно считать, что ли­нейная разделяющая функция строится сначала для от­деления объектов первого класса (образа) от всех остальных. Далее процедура построения разделяющей функции повторяется на множестве оставшихся объектов с тем, чтобы выделять второй класс и т.п. По­скольку аналогичное рассуждение можно проводить для любой задачи распознавания, это означает, что число классов (образов), на которые классифицируются (рас­познаются) объекты, всегда можно считать равным 2, что не понижает общности.

В качестве разделяющих функций можно брать и более сложные функции, например, берутся так называемые ку­сочно-линейные, квадратичные разделяющие функции и т.п.

Естественно, что при построении плоскости, разделяющей два класса, можно ставить вопрос о построении наилуч­шей в некотором смысле разделяющей плоскости. Такая плоскость будет называться оптимальной.

14. Гипотеза компактности. Ее значение в распознавании образов.

Гипотеза компактности. При формировании образа (класса) человек, по-видимому, выделяет у предъявляе­мых ему объектов элементы сходства и различия. Наличие этих элементов и позволяет относить объекты к тому или иному образу (классу). По аналогии будем предполагать, что в пространстве признаков объекты, принадлежащие одному и тому же образу, близки, а объекты, принадлежащие различным образам, хорошо разделимы друг от друга. Это предположение о свойствах объектов в пространстве признаков и составляет сущность гипотезы компактности. Конкрети­зируя, можно сказать, что содержательно гипотеза компактности предполагает:

1) любые две внутренние точки пространства призна­ков, принадлежащие одному и тому же классу (образу) можно соединить достаточно гладкой кривой, все точки которой будут принадлежать тому же классу (образу);

2) почти все внутренние точки, принадлежащие тому или иному классу (образу), в достаточно большой окрест­ности имеют только объекты из своего класса (об­раза);

3) число граничных точек мало.

Гипотеза компактности есть некоторое допущение от­носительно свойства объектов группироваться в об­разы в пространстве признаков. Предполагая справед­ливость гипотезы компактности, мы тем самым обосно­вываем методически решение задачи распознавания как задачу поиска разбиения пространства объектов с помощью некоторой поверхности. Коль скоро объекты группируются в разделяемые множества (т.е. в образы), то поиск разделяющей поверхности становится оправдан­ным.

Одна из давно используемых эмпирических гипотез, известная в литературе по распознаванию образов под именем гипотезы компактности (обозначим ее через  ), состоит в том, что реализации одного и того же образа обычно отражаются в признаковом пространстве в геометрически близкие точки, образуя «компактные» сгустки [6]. При всей кажущейся тривиальности и легкости опровержения указанная гипотеза лежит в основании большинства алгоритмов не только распознавания, но и всех других задач анализа данных. Конечно, она подтверждается не всегда. Если, например, среди признаков имеется много случайных, неинформативных, то точки одного образа могут оказаться далекими друг от друга и рассеянными среди точек других образов. Но дополнительно предполагается, что в многомерном признаковом пространстве уже было найдено такое (информативное) подпространство, в котором точки одного класса действительно образуют явно выделяемые компактные сгустки. Назовем   признаков, входящих в информативное подмножество  , описывающими, а номинальный  -й признак  , указывающий имя образа, целевым. Обозначим множество объектов обучающей выборки через  , новый распознаваемый объект через  , а тот факт, что объекты множества   компактны (эквивалентны, похожи или близки друг другу) в пространстве   характеристик   — через  . Мера компактности может быть любой: она может характеризоваться средним расстоянием от центра тяжести до всех точек образа; средней длиной ребра полного графа или ребра кратчайшего незамкнутого пути, соединяющего точки одного образа; максимальным расстоянием между двумя точками образа и т. д. Например, компактными (эквивалентными) считаем два объекта, если все признаки одного объекта равны соответствующим признакам другого.