6. Кластер-анализ

Существует большое количество методов и алгоритмов кластер анализа. Среди них выделяются две крупные группы, к которым относится большинство опубликованных алгоритмов. Это иерархические алгоритмы, порождающие древовидные классификации объектов, и алгоритмы, порождающие разбиения (группировки).

6.1. Иерархические алгоритмы

Среди иерархических алгоритмов можно выделить два основных класса – агломеративные и дивизимные. Это – пошаговые алгоритмы. Агломеративные алгоритмы начинают с того, что каждый объект является отдельным кластером, а заканчивают тем, что все кластеры объединяются в один объект. На каждом шаге производится объединение двух наиболее «близких» в некотором смысле кластеров. Близость между кластерами задаётся «расстоянием» либо мерой близости. Под «расстоянием» в данном случае понимается неотрицательная симметричная функция. Примеры таких функций будут рассмотрены ниже. В дивизимных же методах, наоборот, на первом шаге все объекты образуют один кластер, на последнем – каждый объект представляет отдельный кластер.

6.1.1. Агломеративные алгоритмы

Рассмотрим агломеративные методы, представленные в пакете Statistica for Windows. Для этого сначала определим функции, с помощью которых оцениваются расстояния между конечными подмножествами метрического пространства M.

Пусть множество описаний объектов S={S₁,…,S_m} признаками X₁(S),…,X_n(S) содержится в евклидовом пространстве E_n, так что для любой пары объектов S_i, S_j из S определена метрика (расстояние) ρ_ij= ρ(S_i,S_j) и можно составить симметричную матрицу расстояний R=(ρ_ij)_mm. Приведём примеры функций двух переменных, значения которых играют в кластер-анализе роль расстояний между непересекающимися подмножествами, хотя, формально, эти функции не являются метриками. Пусть A_l, A_q  S не имеют общих элементов, A_lA_q = . Тогда:

а) ρ_lq равно расстоянию между двумя ближайшими объектами множеств A_l, A_q;.

б) ρ_lq равно расстоянию между самыми далекими объектами множеств A_l, A_q;

в) ρ_lq равно расстоянию между центрами тяжести множеств A_l, A_q (точек со средними

значениями всех показателей);

г) ρ_lq равно среднему арифметическому расстояний между объектами множеств A_l, A_q;

д) ρ_lq равно расстоянию между точками с медианными значениями признаков для мно-

жеств A_l, A_q;

е) ρ_lq равно сумме расстояний между элементами множеств A_l, A_q.

ж) ρ_lq равно так называемому «статистическому расстоянию» (Дюран, Оделл, 1977) между

множествами A_l, A_q:

.

Здесь – векторы средних значений признаков для подмножеств A_l, A_q, ^T – знак транспонирования. Таким образом, «статистическое расстояние» между подмножествами A_l, A_q представляет собой квадрат расстояния между векторами средних значений признаков (центрами тяжести) с коэффициентом m_lm_q/(m_l+m_q).

В иерархических агломеративных алгоритмах, основанных на вычислении «расстояний» между подмножествами A_l, A_q вида (а-ж) и им подобных, на первом шаге каждый объект считается отдельным кластером. На следующем шаге объединяются два ближайших объекта, которые образуют новый класс, определяются «расстояния» от этого класса до всех остальных объектов. Матрица расстояний, соответственно, изменяется с учётом результатов кластеризации, включая уменьшение её размерности. На р-м шаге для кластеров и матрицы расстояний предыдущего шага R_p-1 повторяется та же процедура, пока все объекты не объединятся в один кластер. В отличие от R₁=R, при p>1 элементами R_p являются не расстояния между объектами, а «расстояния» между кластерами.

Если сразу несколько объектов (либо кластеров) имеют минимальное «расстояние», то возможны две стратегии: выбрать одну случайную пару или объединить сразу все пары. Первый способ является классическим; иногда в литературе его называют восходящей иерархической классификацией. Второй способ используется гораздо реже.

Метод, основанный на вычислении «статистического расстояния» (см. п. (ж) выше) называется методом Уорда (Мандель, 1988) по имени предложившего его специалиста. Названия остальных методов определяются используемым в них расстоянием.

Результаты работы всех иерархических агломеративных процедур обычно оформляются в виде так называемой дендрограммы (см. рис. 1), в которой по горизонтали показаны номера объектов, а по вертикали – значения межкластерных расстояний ρ_lq, при которых произошло объединение двух кластеров.