4.3. Расстояние между кластерами
В ряде процедур классификации (кластер – процедур) используют понятия расстояния между группами объектов и меры близости двух групп объектов.
Пусть
- i – я группа (класс, кластер), состоящая
из
объектов;
-
среднее арифметическое векторных
наблюдений
группы, т.е. «центр тяжести» i – й группы;
-
расстояние между группами
и
.
Наиболее употребительными расстояниями и мерами близости между классами объектов является:
- расстояние, измеряемое по принципу «ближайшего соседа»
;
(4.5)
- расстояние, измеряемое по принципу «дальнего соседа»
;
(4.6)
- расстояние, измеряемое по «центрам тяжести» групп
(4.7)
- расстояние, измеряемое по принципу «средней связи».
Это расстояние определяется как среднее арифметическое всех попарных расстояний между представителями рассматриваемых групп.
(4.8)
Здесь
и
- количество объектов в классах
и
.
Колмогоров А.Н. предложил обобщенное расстояние между классами. Оно в качестве частных случаев включает в себя все расстояния, рассмотренные ранее. Обобщенное расстояние – это степенное среднее, которое определяется формулой
(4.9)
Можно показать, что
при
;
при
;
при
.
Из
формулы (4.9) следует, что если
– группа элементов, полученная путем
объединения кластеров
и
,
то обобщенное расстояние между кластерами
и
определяется по формуле
(4.10)
Расстояние
между группами элементов важно в
агломеративных иерархических кластер
- процедурах. Принцип работы таких
алгоритмов состоит в последовательном
объединении сначала самых близких
элементов, а затем и целых групп все
более и более отдаленных друг от друга
элементов. При этом расстояние между
классами
и
,
являющимися объединением двух других
классов
и
,
можно определить по формуле:
,
(4.11)
где
;
;
- расстояния между классами
,
и
;
и
δ – числовые коэффициенты, значение
которых определяет специфику процедуры,
ее алгоритм.
Например,
при
и
приходим к расстоянию, построенному по
принципу «ближайшего соседа». При
и
расстояние между классами определяется
по принципу «дальнего соседа», как
расстояние между двумя самыми дальними
элементами этих классов.
При
,
,
соотношение (4.11) приводит к расстоянию
между классами, вычисленному как среднее
из расстояний между всеми парами
элементов, один из которых берется из
одного класса, а другой – из другого
класса.
4.4. Функционалы качества разбиения
Существует
много способов разбиения на классы
заданной совокупности элементов.
Возникает задача сравнительного анализа
качества этих способов разбиения. С
этой целью вводится понятие функционала
качества разбиения
,
определенного на множестве всех возможных
разбиений. Наилучшее разбиение
представляет собой такое разбиение,
при котором достигается экстремум
выбранного функционала качества. Выбор
того или иного функционала качества
разбиения, как правило, опирается на
эмпирические соображения.
Рассмотрим
некоторые наиболее распространенные
функционалы качества разбиения. Пусть
при исследовании выбрана метрика ρ в
пространстве Х и
некоторое фиксированное разбиение
наблюдений
на заданное число ρ классов
.
Существуют следующие характеристики функционала качества
сумма внутриклассовых дисперсий
;
сумма попарных внутриклассовых расстояний между элементами
.
и
широко используются в задачах кластерного
анализа для сравнения качества процедур
разбиения;
обобщенная внутриклассовая дисперсия
,
где detA – определитель матрицы А;
Cl – выборочная ковариационная матрица класса Sl, элементы которой определяется по формуле
,
,
где
- q –
я компонента многомерного наблюдения
;
-
среднее значение q
– й компоненты, вычисленное по наблюдениям
l –
го класса.
Качество разбиения характеризуют и другим видом обобщенной дисперсии, в которой операция суммирования Cl заменена операцией умножения
.
Функционалы
и
обычно используют при решении вопроса:
не сосредоточены ли наблюдения, разбитые
на классы, в пространстве размерности,
меньшей, чем k.