5 Кластерный Анализ и Неконтролируемое Обучение

5.1 Введение

5.1.1 Определение кластеризации

То, что мы обсудили, является контролированным обучением; то есть имеется супервизор, который обучает систему, как классифицировать известный набор моделей, и затем давал системе свободно классифицировать другие модели. В таких системах мы обычно нуждаемся в априорной информации (информация относительно синтаксиса, семантики, или прагматики) чтобы сформировать базис обучения.

В этой главе мы обсуждаем неконтролируемое изучение, в котором процесс классификации не будет зависеть от априорной информации. Очень часто не существует априорного знания относительно моделей и наборов обучения.

Кластеризация - неконтролируемая классификация объектов. Это - процесс производства классов без любого априорного знания классификации прототипа.

Если нам дано M образцов, x₁, x₂, . . . , x_M, из пространства образцов S, процесс кластеризации может быть формально определён так: найти регионы S₁, S₂, . . . , S_k такие, что каждый x_i, i = 1, 2, .... M, попадает в один из этих регионов и не существует таких x_i которые попадают в два региона; то есть

(5.1)

где  и  означают объединение и пересечение.

Полученные алгоритмы классифицируют объекты в кластеры на основе естественной зависимости согласно некоторым критериям подобия. Ожидается, что степень естественной зависимости является высокой среди членов, принадлежащих к той же самой категории и низкой среди членов различных категорий.

5.1.2 Мера сходства

По определению кластеризации мы должны кластеризовать (объединить в класс) такие образцы x которые наиболее схожи, и таким образом нам необходимо иметь меру сходства (или меру различия). Если  означает меру различия между двумя образцами, то очевидно, что

но

(5-2)

Критерий подобия (или критерий несходства) обычно дается в численной форме, чтобы указать степень естественной зависимости или степени сходства между образцами в группе, между образцом и группой образцов, или между группами образцов.

Множество различных функций, типа функции инерции и нечеткой функции принадлежности, также были предложены как критерий подобия, но далее описываются только наиболее общеиспользуемые.

Евклидово расстояние

Евклидово расстояние является наиболее простой и часто используемой мерой и задаётся как

(5.3)

в многомерном евклидовом пространстве. Всё хорошо пока относительные размеры измерений для нас важны. Если нет, то мы должны использовать взвешенное евклидово расстояние, которое определяется как

(5.4)

где x_i = [x_1i, x_2i, . . . , x_ni]^T; x_ki и x_kj есть k-тые компоненты x_i и x_j, соответственно; _k весовой коэффициент. Пусть m_m = [m_1m, m_2m, . . . , m_nm]^T есть середина кластера (мы всё ещё считаем что класс неизвестен), и пусть

(5.5)

где _m = [_1m, _2m, … , _nm] и _km² есть дисперсия кластера в направлении m. Тогда взвешенное евклидово расстояние от x_i до m кластера есть

(5.6)

Границы кластера найденные с помощью такой меры имеют локусы размером d_m² и форму гиперэллипсоидов, которые прилегают к осям n-мерного пространства образцов.