Blizorukov_kolich_metodi

Кластерный анализ

Рис. 3.6.4. Дендрограмма кластеризации по методу невзвешенного попарного среднего

3.6.4. Метод Варда (Ward’s method)

Этот метод отличается от остальных тем, что в нем используются методы дисперсионного анализа для оценки расстояний между кластерами. В

качестве расстояния dis(X,Y) между кластерами X и Y берется прирост суммы квадратов расстояний объектов до центров кластеров, получаемый

где радиусы-векторы X , Y центров кластеров, nx, ny – число элементов в них, верхний индекс Т означает транспонирование.

Метод Варда минимизирует сумму квадратов для любых двух (гипотетических) кластеров, которые могут быть сформированы. На каждом шаге объединяются такие два кластера, которые приводят к минимальному увеличению целевой функции, т.е. внутригрупповой суммы квадратов. Этот метод направлен на объединение близко расположенных кластеров и имеет тенденцию к нахождению (или созданию) кластеров приблизительно равных размеров и имеющих гиперсферическую форму. В целом метод пред-

51

Глава 3.

Рис. 3.6.5. Дендрограмма кластеризации по методу Варда

ставляется очень эффективным, однако он стремится создавать кластеры малого размера.

Дендрограмма, построенная по методу Варда на данных рассматриваемого примера, приведена на рис. 3.6.5:

3.6.5. Невзвешенный центроидный метод (Unweighted pair-group centroid, Centroid clustering)

Расстояние между двумя кластерами определяется как евклидово расстояние между центрами (средними, «центрами тяжести») этих кластеров. Кластеризация идет поэтапно, при этом на каждом из шагов объединяют два кластера, имеющие минимальное расстояние между центрами. Следует заметить, что в случае объединения двух кластеров, в одном из которых много элементов, а в другом – мало, характеристики последнего практически игнорируются.

Дендрограмма для рассматриваемого примера приведена на рис. 3.6.6: Кроме рассмотренных выше базовых методов разработаны их модернизированные разновидности, что связано в первую очередь с желанием учесть размеры объединяемых кластеров. С математической точки зре-

52

Кластерный анализ

Рис. 3.6.6. Дендрограмма кластеризации по невзвешенному центроидному методу

ния это приводит к переходу от невзвешенных алгоритмов к взвешенным. Таковыми методами являются метод взвешенного попарного среднего и метод медиан.

3.6.6. Метод взвешенного попарного среднего, или метод минимальной связи (Weighted pair-group average, Withingroups linkage)

Метод идентичен методу средней связи, но при вычислениях размер соответствующих кластеров (то есть число объектов, содержащихся в них) используется в качестве весового коэффициента. Поэтому метод взвешенного попарного среднего лучше использовать, когда предполагаются неравные размеры кластеров.

Дендрограмма для рассматриваемого примера приведена на рис. 3.6.7:

3.6.7.Метод медиан, или взвешенный центроидный метод

(Weighted pair-group centroid, Median clustering)

53

Глава 3.

Рис. 3.6.7. Дендрограмма кластеризации по методу взвешенного попарного среднего

Тот же центроидный метод, но при вычислениях используются веса для учета разницы между размерами кластеров (то есть числом объектов в них). Поэтому,еслиимеются(илипредполагаются)значительныеотличиявразмерахкластеров,этотметодоказываетсяпредпочтительнееневзвешенногоцентроидного. Иногда этот метод называют еще методом взвешенных групп.

Дендрограмма для рассматриваемого примера приведена на рис. 3.6.8: Таким образом, видно, что разные кластерные методы могут порождать и порождают различные решения для одних и тех же данных. Это обычное

явление в большинстве прикладных исследований.

Методы можно условно разделить на три группы по тому, как они преобразуют соотношения между точками в многомерном пространстве. Сжимающие пространство методы изменяют эти соотношения, «уменьшая» пространство между любыми группами в данных. Если очередная точка подвергается обработке таким методом то, скорее всего, она будет присоединена к уже существующей группе, а не послужит началом нового кластера. Расширяющие пространство методы действуют противоположным образом. Здесь кластеры как бы «расступаются» так, что в пространстве образуются мелкие, более «отчетливые» кластеры. Этот способ группировки также зачастую приводит к созданию кластеров гиперсферической формы и приблизительно равных размеров (например, методы Варда и

54

Кластерный анализ

полных связей). И, наконец, есть сохраняющие пространство методы (например, метод средней связи), которые оставляют без изменения свойства исходного пространства.

Рис. 3.6.8. Дендрограмма кластеризации по методу медиан

3.7. Реализация кластерного анализа в пакете SPSS

Одним из наиболее популярных пакетов обработки статистической информации, безусловно, является SPSS. Подробно о достоинствах этой универсальной системы анализа данных можно прочитать, например, в [7, 19].

После ввода данных (рис. 3.7.1)

для вызова процедуры иерархического кластерного анализа в пакете SPSS выберите в главном меню последовательность пунктов Analyze/ Classify/Hierarchical Cluster, после чего на экране появится основное окно процедуры (рис. 3.7.2).

Иерархический кластерный анализ может использоваться как для выявления типологии объектов, так и для классификации переменных. Поэтому

55

Глава 3.

Рис. 3.7.1. Окно ввода данных в пакете SPSS

первымшагомбудетустановказначенийпереключателяCluster.Есликлас-

теризации подвергаются наблюдения (векторы Xi , характеризующие различные объекты по набору признаков), следует оставить его в положении Cases. Если же кластеризации подвергаются признаки, характеризующие весь набор объектов, то есть переменные, надо установить этот переключатель в положение Variables. С формальной точки зрения, в первом случае в качестве объектов выступают столбцы матрицы определенной по (3.1.2),

аво втором – строки этой матрицы.

Вполе Label Cases by следует перенести имя строковой переменной (если кластеризации подвергаются наблюдения), с помощью значений которой на графике можно идентифицировать отдельные наблюдения (таким именем, например, может быть фамилия, название или специальный уни-

56

Кластерный анализ

Таблица 3.7.1Таблица объединения (Agglomeration Schedule)

в пакете SPSS

кальный код). Если классифицируются переменные, данное поле становится недоступным.

При кластеризации наблюдений меры сходства вычисляются на основании тех переменных, которые помещены в список Variables. Эти переменные называются критериями кластеризации. Естественно, что именно от их выбора непосредственным образом зависит то, какие объекты окажутся похожими, а какие — нет. Основная проблема состоит в том, чтобы найти ту совокупность переменных,котораянаилучшимобразомотражаетсходствообъектов.

Не рекомендуется отбирать для анализа как можно большее количество переменных в надежде на то, что структура «проявится», как только будет собрано достаточное количество данных. Чем больше переменных учитывается при вычислении меры близости, тем сложнее вскрыть реальную структуру данных, поскольку не имеющие отношения к делу признаки вносят статистический «шум» и затрудняют интерпретацию полученных

57

Глава 3.

Рис. 3.7.2. Основное окно процедуры кластерного анализа в пакете SPSS

кластеров. Лучше начинать с 2–3 существенных признаков, постепенно добавляя новые переменные при необходимости. Естественным методом для отбора минимального числа независимых переменных может послужить факторный анализ признаков (см. гл. 4).

В режиме экрана Display расставляются «флажки»: в окне Statistics, если требуется получение отчета о кластеризации, и в окне Plot, если требуется получение графиков (дендрограмм).

После того как определен состав наблюдений и критериев кластеризации, необходимо выбрать меру сходства и метод кластеризации, которые должны быть использованы. Для этого, нажав кнопку Method, вызываем дополнительное окно (рис. 3.7.3).

Отметим, что в пакете SPSS не предусмотрена возможность анализа разнотипных переменных. То есть все основания кластеризации должны относиться к одному и тому же типу: интервальные шкалы (Interval), частоты (Counts) или дихотомические переменные (Binary). Для корректного про-

58

Кластерный анализ

Рис. 3.7.3. Окно выбора меры сходства и метода кластеризации в пакете SPSS

Рис.3.7.4.ОкносохраненияпринадлежностиобъектовкластерамвпакетеSPSS

59

Глава 3.

Рис. 3.7.5. Дендрограмма по методу минимальной связи в пакете SPSS

должения процедуры требуется указать в окне шкалу (см. Приложение 3), с помощью которой были произведены измерения.

Если переменные вычислены в разных шкалах, то перед вычислением мерсходстваследуетвыполнитьихпреобразование.Цельтакихпреобразований состоит в том, чтобы привести переменные к единому масштабу, что позволяет производить осмысленное сравнение объектов по разным признакам.

Для преобразования переменных служат несколько элементов управления. Список Standardize в группе Transform Values позволяет включить стандартизацию определенного типа (например, Z-шкалы, диапазон от 0 до 1, и т.п.) или отключить ее совсем (значение None). При включенной процедуре стандартизации можно выбрать, каким образом она будет производиться: по наблюдениям (By case) или по переменным (By variable).

60