5.6 Смешанная статистика и неконтролируемое обучение

Рассмотрите функцию плотности вероятности, которая является смесью других вероятностных функций. Эта вероятностная функция может тогда быть выражена как

(5.55)

(5.56)

(5.57)

где p(x|wi) является функцией правдоподобия wi как определено предварительно и может интерпретироваться как вероятность данного x. p(wi) обозначает априорную вероятность попадания x в подмножество Si, которое позже классифицируется как wi.

Рисунок 5.19 Набор двумерных образцов, поясняющих графо-теоретический алгоритм кластеризации, основанный на ограниченных наборах соседей.

P(x) может тогда интерпретироваться как вероятность неизвестных выборок модели, выраженных в терминах статистики естественных кластеров тех выборок. Если

(5.58)

то есть если немного перекрытия (или почти никакого перекрытия) не существует между кластерами, тогда уравнение 5.55 становится приблизительно

(5.59)

где

Если перекрытие не слишком большое среди функций плотности смеси, там будет существовать взаимно-однозначное соответствие между модами (или локальными максимумами) смеси и плотностей распределения функций классов дискретного компонента, как показано на рисунке 5.21.

Рисунок 5.20 Набор двумерных образцов поясняет графо-теоретический алгоритм кластеризации основанный на ограниченных наборах соседей.

Рисунок 5.21 Композитная функция плотности вероятности.

Проблема кластеризации теперь в том, как расположить моды (или локальные максимумы) плотности вероятности p(x), и представить каждую моду p(x|wi), i = 1, 2, ...; то есть мы должны изучить распределение x без диспетчерского управления. Расположения этих мод в p(x) могли бы использоваться для определения среднего расстояния между кластерами.

Несколько процедур могут использоваться при мультимодальном исследовании. Случайное исследование - одна процедура, исследование градиента - другая. Но если статистика каждого класса и числа классов не все известна, мы должны искать некоторую другую процедуру, чтобы использовать для решения этой проблемы. Для простоты используем нормальное n – мерное распределение со средним 0 принято для p (x), или

(5.60)

Поскольку C^-1 вещественна и симметрична, уравнение (5.60) может диагонализовано ортогональным преобразованием с выбором собственных векторов C^-1 в качестве нового базиса  так, что

(5.61)

где

и i, i = 1, 2, . . . , n, собственные числа C^-1. Распределение становится

(5.62)

Вероятность для образца попасть в пределы характеристического домена D этой плотности распределения тогда дается как

(5.63)

где D есть внутренность квадратичной поверхности определённой как

(5.64)

чей центр в начале координат и чьи главные оси имеют те же самые направления как и собственные векторы C^-1. Пусть

Уравнение (5.63) может быть упрощено до

(5.65)

где  есть регион, на котором проводится интегрирование, имеющий форму круга с радиусом

(5.66)

Уравнение (5.59) становится

(5.67)

Тогда мы имеем

(5.68)

и

(5.69)

Если Ni, i = 1, 2, ..., представьте число образцов, попадающих в модальный домен Di, тогда вероятность p(xDi) может быть оценена из Ni/N, где N - число моделей, использованных для испытания и уравнение (5.68) становится

Проблема, остающаяся нерешенной - как расположить моды. Геометрические свойства модального домена с многомерной Гауссовой функцией плотности подробно изучалась. Анализ вариаций среднего значения функции p(x) в пределах соответствующего домена может использоваться, чтобы определить локальную выпуклость функции p(x) в точке x. Читайте Постаира и Вассеура (1981) для более детального описания этой методики.