2.3. Непараметрические алгоритмы многоальтернативного распознавания

Составляются эвристически в расчете на неизвестные заранее статистические распределения признаков объектов различных классов. К их числу мож­но отнести, в частности, различные варианты алгоритмов вычисления расстояний и голосования.

2.3.1. Алгоритмы вычисления расстояний

К ним относятся алгоритмы минимума расстояний и алгоритмы "ближайших соседей" [10 - 13, 17].

Алгоритмы минимума расстояний. Предусматривают принятие реше­ния k о классе объекта по минимуму расстояний d_i или их квад­ратов от точки многомерного пространства признаков, определяемой оценочным вектором до точек , соответствующих ус­ловным средним значениям векторов признаков для различных классов объек­тов i. Иначе,

(2.21)

В силу монотонности квадратичной функции оба приведенных равенства равносильны. Об условных распределениях вектора признаков для различных классов достаточно знать только их средние значения. Мера же расстояния может видоизменяться. Могут использоваться евклидово расстояние, расстоя­ние Махалонобиса, расстояние в пространстве обобщенных признаков.

Евклидово расстояние определяется из соотношения

, (2.22)

аналогично соответствующему соотношению для трехмерного пространства N=3. Будучи эвристическим для произвольных распределений вероятностей признаков, алгоритм (2.21), (2.22) совпадает с байесовским алгоритмом для гауссовского распределения признаков при условии их независимости (некоррелированности) и нормирования признаков из условия единичной дисперсии.

Расстояние Махалонобиса определяется в предположении, что известны как условные средние значения, так и соответствующие корреляционные матрицы Ф_i для векторов признаков объектов различных классов:

(2.23)

Алгоритм (2.21), (2.23) с точностью до логарифмического слагаемого совпадает при этом с оптимальным байесовским алгоритмом для гауссовской статистики признаков, где признаками служат отсчеты принимаемой выборки. Если различия в разбросах признаков различных классов после их нормирования несущественны, то Ф_i= Ф. Если при этом Ф = I, где I – единичная матрица, то расстояние Махалонобиса переходит в евклидово расстояние.

Обобщенные признаки. Вводятся на основе диагонализации входящей а (2.23) обратной корреляционной матрицы (здесь считается, что Ф_i= Ф ).

. (2.24)

В (2.24) Λ - диагональная матрица собственных чисел λ_i, а U - унитарная матрица. Расстояние (2.23) переходит при этом в

, (2.25)

где – векторы признаков [11, 58, 59]:

. (2.26)

Обобщенные признаки некоррелированы, имеют единичные дисперсии и для них расстояние Махалонобиса совпадает с евклидовым.

Алгоритмы "ближайших соседей". Для точки , определяемой оценочным вектором признаков, находится L ближайших к ней точек из имеющихся в памяти ЭВМ. В этой памяти собраны экспериментальные реализации вектора признаков при предъявлении объектив различных классов. Наблюдаемый объект относят обычно к тому классу, к которому относится 6ольшинство из L его "ближайших соседей", т.е.

(2.27)

Здесь δ_ij - символ Кронекера, δ_ij=1 при i=j и δ_ij=0 при ij . Он при­нимает единичное значение, если j-й ближайший сосед принадлежит i-му классу, и нулевое - в противном случае. Мерой близости "соседей" служат рас­стояния, вычисляемые тем или иным образом. При I.=1 алгоритм "ближай­ших соседей" переходит в алгоритм "ближайшего соседа". Доказано, что веро­ятности ошибок распознавания при совпадают с байесовскими, а при L=1 не более чем в два раза превышают их [10].

Алгоритмы "ближайших соседей" не требуют подбора и оценивания па­раметров вероятностных распределений - они непараметрические (даже усред­нения экспериментальных отсчетов, как и в алгоритмах минимума расстояний, не требуется). Их можно считать в то же время результатом перехода от параметрических алгоритмов (разд. 2.2.2 - 2.2.3) при использовании которых нужны оценки плотностей вероятности . Для фиксированного элементарного объема в пространстве признаков эти оценки определяются числом попадающих в него реализаций соответствующих классов i.