2. Множественность эталонов

Допустим, что каждый класс можно охарактеризовать не единственным, а несколькими эталонными образами, т.е. любой образ, принадлежащий классу , проявляет тенденцию к группировке вокруг одного из эталонов , где - количество эталонных образов, определяющих i-й класс. В этом случае можно воспользоваться классификатором, подобным рассмотренному ранее. Запишем функцию, определяющую расстояние между произвольным образом х и классом , в виде

, l=1,2,…, (3.6)

Это означает, что - наименьшее из расстояний от образа х до каждого эталона класса . Как и раньше, вычисляются значения расстояний , 1=1,2,...М, и классифицируемый образ зачисляется в класс , если условие справедливо для всех . В случае равенства решение принимается произвольным образом. Следуя процедуре, рассмотренной ранее, получаем решающие функции

(3.7)

и, как и раньше, образ х зачисляется в класс , если условие справедливо для всех .

На рис. 3.4 представлены разделяющие границы для случая двух классов, когда каждый класс имеет два эталона. Обратите внимание на то обстоятельство, что границы, разделяющие классы и , являются кусочно-линейными. Этот случай можно было бы интерпретировать как задачу о разбиении на четыре класса, каждый из которых обладает единственным эталонам, тогда участки границ представляют собой геометрические места точек, равноудаленных от прямых, соединяющих эталоны различных классов. Это утверждение согласуется со свойствами разделяющих границ классификаторов для случая единственности эталонов, являющегося частным случаем соотношений (3.6) и (3.7).

Р ис. 3.4. Кусочно-линейные границы, разделяющие два класса, каждый из которых определяется двумя эталонами

Точно так же, как выражение (3.3) представляло частный случай линейного классификатора, выражение (3.7) является частным случаем классификаторов более общего вида - кусочно-линейных. Решающие функции таких классификаторов имеют следующий вид:

, I=1,2,…, M, l=1,2,…, , (3.8)

где функция определяется выражением

. (3.9)

В отличие от решающих функции, определяемых формулой (3.7), от этих решающих функций не требуется соответствия форме, представленной на рисунке 3.4. К сожалению, до сих пор не известен действительно общий алгоритм для кусочно-линейного случая (3.8), (3.9). Частные случаи (3.6) и (3.7) реализуются легко, если классы обладают относительно небольшим числом эталонов.

3.3. Обобщение принципов классификации по минимуму расстояния

Хотя идеи работы с небольшим количеством эталонов и евклидовыми расстояниями обладают геометрической привлекательностью, подход, основанный на классификации по критерию минимума расстояния, ими не исчерпывается. Для того чтобы продолжить исследование общих свойств этой схемы классификации, рассмотрим выборку образов с известной классификацией , причем предполагается, что каждый образ выборки входит в один из классов . Можно определить правило классификации, основанное на принципе ближайшего соседа (БС - правило). Это правило относит классифицируемый образ к классу, к которому принадлежит его ближайший сосед. Образ называется ближайшим соседом образа х , если

, l=1,2,…N, (3.10)

где D - любое расстояние, определение которого допустимо на пространстве образов.

Эту процедуру классификации можно назвать 1 - БС - правилом, так как при ее применении учитывается принадлежность некоторому классу только одного ближайшего соседа образа х. Можно ввести q - БС - правило, которое предусматривает определение q ближайших к х образов, и зачисление его в тот класс, к которому относится наибольшее число образов, входящих в эту группу. Сопоставление соотношений (3.10) и (3.6) показывает, что 1 - БС - правило есть не что иное, как рассмотренный в предыдущем разделе случай множественности эталонов, если в качестве D выбирается евклидово расстояние.

Интересный результат, относящийся к сравнению 1 - БС и q - БС -правил, можно получить, обратившись к рис. 3.5.

Рис. 3.5. Два класса, покрывающие идентичные области, в которых образы распределены равномерно

Допустим, что вероятность появления образов обоих представленных классов одинакова и, как показано на рисунке, образы классов и равномерно распределены в пределах соответствующих кругов и . В таком случае для выборки объема N вероятность того, что точно выбранных образов принадлежит классу , определяется выражением

, (3.11)

где - число способов, которыми выборку объема N можно разделить на два класса, содержащих и N - элементов соответственно, определяет общее число способ разбиения N элементов на два класса. Очевидно, что вероятность того, что из N элементов выборки принадлежит классу , равна вероятности p_i , т.е. = p_i.

Допустим, что классифицируемый образ х принадлежит классу . При этом применение 1 - БС - правила приведет к ошибке только в том случае, если ближайший сосед образа х входит в класс и, следовательно, расположен в круге . С другой стороны, если образ х принадлежит классу , а его ближайший сосед находится в круге , то в этом круге должны быть расположены все образы, что абсолютно очевидно из рис. 3.5. Это означает, что вероятность ошибки при применении 1 - БС - правила равна в этом случае вероятности принадлежности всех образов классу . Её можно определить, положив = N в выражении (3.11), т.е.

(3.12)

Подобным же образом можно определить вероятность совершить ошибку при использовании q - БС - правила. Это правило зачисляет классифицируемый образ в класс, к которому принадлежит большинство его q ближайших соседей. Поскольку рассматривается случай разделения на два класса, в качестве q можно выбрать нечетное целое число и, следовательно, принцип большинства всегда будет работать.

Допустим, что образ х принадлежит классу и он, следовательно, расположен в круге . В таком случае применение q - БС - правила приведет к неправильной классификации только при условии, что в круге находится (q - 1)/2 или меньшее количество образов. При этом нельзя располагать большинством, превышающим (q - 1)/2 ближайших соседей из круга , необходимым для подтверждения правильности зачисления образа х в класс .

Соответствующая вероятность, являющаяся, по существу, вероятностью ошибки при использовании q - БС - правила, равна сумме вероятностей вхождения 0,1,2,..., (q - 1)/2 элементов выборки в круг . Следовательно, воспользовавшись уравнением (3.11), получаем выражение для вероятности ошибки при использовании q - БС - правила:

(3.13)

Сопоставление вероятностей ошибки классификации и показывает, что в данном случае 1 - БС - правило характеризуется строго меньшей вероятностью ошибки, чем любое q - БС - правило ( ). От этого примера можно прийти к общему случаю указав, что при задании М классов 1 - БС - правило работает гораздо лучше, чем q - БС - правило ( ), если все расстояния, разделяющие образы одного класса, меньше всех расстояний между образами, принадлежащим различным классам.

Можно также показать, что в случае выборок большого объема ( ) и при выполнении некоторых благоприятных условий вероятность ошибки 1 - БС - правила заключена в следующих пределах:

, (3.14)

где - байесовская вероятность ошибки (наименьшая вероятность ошибки, достижимая в среднем).

Неравенство (3.14) показывает, что вероятность ошибки для 1- БС -правила превышает вероятность ошибки Байеса не более чем в два раза. Это выражение устанавливает теоретический верхний и нижний пределы качества классификации с помощью 1- БС - правила. Практическим препятствием, однако, является то обстоятельство, что для достижения указанных границ необходимо сохранять в памяти большое число образов, о которых известна принадлежность их некоторому классу. Кроме того, при осуществлении классификации необходимо вычислять расстояния между каждым классифицируемым образом и всеми образами, хранящимися в памяти системы. При больших объемах обучающих выборок это обстоятельство вызывает серьезные вычислительные трудности.

Компьютерный практикум № 1

Целью практикума является составление программы распознавания случайных величин с различными законами распределения по критерию минимума расстояния.

Задачами практикума являются:

• формирование случайных величин с нормальным, равномерным и экспоненциальным законом распределения с использованием математического пакета Mathcad;

• определение основных характеристик распределения случайных величин по формулам

- математическое ожидание

- дисперсия

- среднеквадратическое отклонение

- эксцесс

- асимметрия

где - центральный момент k- го порядка.

• описание эталонных образов двух классов в виде векторов, характеристиками которых являются: математическое ожидание, дисперсия, среднеквадратическое отклонение, эксцесс и асимметрия законов распределения;

• применение критерия минимума расстояния для классификации случайных величин с рассмотренными законами распределения.

Реализация задания

В качестве примера представлен графический интерфейс программы, выполненной в среде Borland Delphi 7 [3]. Она дает возможность определить, к какому из эталонных классов относится вводимый вектор. Форма, предназначенная для реализации классификации образов по критерию минимума расстояния, показана на рис. 3.6.

Рис. 3.6. Форма для критерия минимума расстояния

В результате выполнения программы распознавания по критерию минимума расстояния на экран будет выведено одно из сообщений: «вектор относится к первому классу» или «вектор относится ко второму классу» (рис. 3.7).

Рис. 3.7. Сообщения, выдаваемые при реализации критерия

Задание для самостоятельной работы

Применить критерий минимума расстояния для распознавания случайных величин со следующими законами распределения: χ² , Стьюдента, Фишера-Снедекора.