Пункт4. Кластер-анализ. Расстояния и меры близости между объектами и кластерами

Наиболее трудным и наименее формализованным в задаче кластер-анализа является момент, связанный с понятием однородности объектов. В общем случае однородность объектов определяется задание правила вычисления величины , характеризующее либо «расстояние» d_ij = d(O_i, O_j), либо степенью «близости» (сходства) s_ij = s(O_i, O_j).

Если задана функция d(O_i, O_j), то «близкие» в этом смысле объекты считаются однородными (т.е. принадлежащие одному классу). При этом возможно сопоставление величин d_ij с некоторым пороговым значением, определяемым в каждом конкретном случае.

При задании d_ij и s_ij следует помнить о соблюдении следующих естественных требований:

1. Требование симметрии:

2. Т ребование максимального сходства объекта с самим собой: s_ii = s_ij

3. Требование монотонного убывания по, т.е.

Каждый объект О_i представлен вектором признаков X_i = ( (2.5). В дальнейшем будем писать вместо d(O_i, O_j) - d(X_i, X_j), вместо s(O_i, O_j) пишем s(X_i, X_j)

Таким образом, задача разбиения множества объектов {О₁,…,O_n} на кластеры сводится к задаче разбиения множества векторов Х = {X₁,…, X_n) на кластеры, где X_i задается (2.5)

§4.1 Расстояния и меры близости между объектами

1. Обобщенное (взвешенное) расстояние Махаланобиса.

                                                                      (4.1)

при вероятостно-статистическом подходе - ковариация матрицы генеральной совокупности, из которой извлекаются наблюдения X_i (2.5), а - некоторая симметрическая неотрицательно определенная матрица весовых коэффициентов.

Следующие три вида расстояний являются частным случаем указанного

2. Обычное евклидово расстояние

                                                                               (4.2)

применяется:

• наблюдения берутся из нормальной генеральной совокупности

• компоненты вектора Х однородны по физическому смыслу и одинаково важны для классификации

• признаковое пространство совпадает с геометрическим

Забегая вперед, введем понятие нормировки, чтобы добиться однородности признаков.

, где - среднее арифметическое к-го признака

3. Взвешенное евклидово расстояние

                                                                                       (4.3)

w_k – вес, определяется пропорционально степени важности признака. Экспертные оценки.

Обычно принимают

4. Хеммингово расстояние:                                             (4.4)

Используется как мера различия объектов, задаваемых дихдомическими признаками, т.е. когда Х_i – p-мерные двоичные векторы. Тогда d_H – число несовпадений значений признаков в рассматриваемых i и j объекта.

Менее подробно о способах задания мер близости между объектами

Если заданы расстояния d_ij = d(O_i, O_j) = d(X_i, X_j) между объектами вида (4.1)-(4.3), то соответствующие меры близости (сходства) можно определить как

, где a = const, a>0

В качестве а можно принять среднее значение расстояния d_ij Очевидно, что при этом s_ij

Мера сходства объектов по бинарным признакам можно определить как

, p – число признаков.

§4.2 Расстояния между классами объектов

При создании различных процедур классификации (кластер-процедур), в ряде случаев возникает необходимость введения понятие расстояния между целыми группами объектов (кластерами).

Приведем примеры наиболее часто используемых расстояний, характеризующих взаимное расположение отдельных групп объектов.

Как и ранее мы отождествляем объект О_i и вектор признаков X_i (2.5), ему соответствующий. Тогда разбиение множества {О₁,…,O_n} сводится к разбиению векторов {Х₁,…,Х_n} = Х.

Пусть мы имеем одно из таких разбиений

, где

- вектор средних арифметических компонент векторов, входящих в S_m

1. Расстояние, измеряемое по принципу «ближнего соседа»:

                                                (4.5)

2. Расстояние, измеряемое по принципу «дальнего соседа»:

                                                 (4.6)