книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

можных попарных расстояний между представителями рассматривае­ мых групп, т. е.

Естественно задать вопрос: а нельзя ли получить достаточно об­ щую формулу, определяющую расстояние между классами по задан­ ному расстоянию между отдельными элементами (наблюдениями), которая включила бы в себя в качестве частных случаев все рассмот­ ренные выше виды расстояний?

Изящное обобщение такого рода, основанное на понятии так на­ зываемого «обобщенного среднего», а точнее —■степенного среднего, было предложено А. Н. Колмогоровым1.

■^ Обобщенное (по Колмогорову) расстояние между классами или

Все излагающиеся ниже определения и результаты, опирающиеся на понятие

прочитанного им на семинаре по математической статистике межфакультетской лаборатории статистических методов МГУ, 27 апреля 1972 г.

83

'Очевидно, также

P(1° (Sh s m) =----Pep (Si, Sm).

Из (3.8) следует, что если S (т, q) = 5 m(jS; группа элементов, полученная путем объединения кластеров S m и S , то обобщенное /(-расстояние между кластерами S, и 5 (т, q) определяется фор­ мулой:

пт [р(*> (Sh Sm))r +n q [pW (Sf, Sg)]r 1r

pW (S „ S ( m , q))

ПтT Я-g

Отметим, что понятие расстояния между группами элементов осо­ бенно важно в так называемых агломеративных иерархических кластер-

процедурах, поскольку принцип работы таких алгоритмов состоит в последовательном объединении элементов, а затем и целых групп сначала самых близких, а потом все более и более отдаленных друг от друга. Подробнее об агломеративных иерархических процедурах см. ниже. Учитывая специфику подобных процедур для задания рас­ стояния между классами оказывается достаточным определить порядок

этими классами. В [55] предлагается следующая общая формула для

Р/ (т, q) = Р (Sx, s (m,q)) = ap,m + ßpz, + ypmg + 6 j pim —p„ |, (3.9)

где а, ß, у и б — числовые коэффициенты, значения которых и опре­ деляют специфику процедуры, ее нацеленность на решение той или

иной экстремальной задачи. Так, например, полагая а = ß = —б = ~

и у — 0, мы, как легко видеть, приходим к расстоянию, измеряемому

по принципу ближайшего соседа. Если же положить а = ß = б = у

и 7 = 0, то расстояние между двумя классами определится как рас­ стояние между двумя самыми далекими элементами этих классов, по принципу дальнего соседа. И наконец, выбор коэффициентов

•соотношения (3.9) по формулам

приводит нас к расстоянию рср между классами, вычисленному как среднее из расстояний между всеми парами элементов, один из которых берется из одного класса, а другой — из другого.

соответствующей агломеративной иерархической процедуры на реше­ ние той или иной экстремальной задачи, т. е. в каком-то смысле опре-

84

деляет ее оптимальную критерийную установку, поясняет, например, следующий результат [76]. Оказывается, если для вычисления р/ (т, 9> воспользоваться следующей модификацией формулы (3.9):

то соответствующий агломеративный иерархический алгоритм обла­ дает тем свойством, что на каждом шаге объединение двух классов при­ водит к минимальному увеличению общей суммы квадратов расстоя­ ний между элементами внутри классов. Отметим сразу, что такая пошаговая оптимальность алгоритма в указанном смысле, вообще го­ воря, не влечет его оптимальности в том же смысле для любого наперед заданного числа классов, на которые требуется разбить исходную совокупность элементов.

3. Порог

Под порогом подразумевается обычно то число, с которым сравни­ вается расстояние между объектами (классами) или мера близости объектов для того, чтобы определить, можно ли отнести рассматривае­ мые два объекта (либо объект и класс, либо два класса) к одному об­ щему классу.

При конструировании классификационной процедуры порог может задаваться и как величина постоянная, не изменяющаяся в течение всей процедуры, и как величина переменная, меняющаяся по опреде­ ленным правилам при переходе от одного этапа процедуры к другому (см. § 3 настоящей главы).

4. Функционалы качества разбиения на классы. Экстремальная постановка задачи кластер-анализа, связь с теорией статистического оценивания параметров

Естественно попытаться определить сравнительное качество различ­ ных способов разбиения заданной совокупности элементов на классы, т. е. определить тот количественный критерий, следуя которому можно было бы предпочесть одно разбиение другому. С этой целью в поста­ новку задачи кластер-анализа часто вводится понятие так называе­ мого функционала качества разбиения Q (S), определенного на мно­ жестве всех возможных разбиений. Функционалом он называется потому, что чаще всего разбиение S задается, вообще говоря, набором дискриминантных функций бх (X), б2 (X), .... Тогда под наилучшим разбиением S* понимается то разбиение, на котором достигается экстремум выбранного функционала качества. Надо сказать, что выбор того или иного функционала качества, как правило, осуществляется весьма произвольно и опирается скорее на эмпирические и профессио­ нально-интуитивные соображения, чем на какую-либо строгую фор­ мализованную систему.'

85

Мы приведем здесь примеры наиболее распространенных функ­ ционалов качества разбиения и попытаемся обосновать выбор некото­ рых из них в рамках одной из моделей статистического оценивания параметров.

Пусть исследователем уже выбрана метрика р в пространстве X и пусть S = (5!, S 2, ..., S h) некоторое фиксированное разбиение наб­ людений Х г, ■■■, Хп на заданное число k классов S1; S2, S h.

За функционалы качества часто берутся следующие характери­ стики:

— сумма («взвешенная») внутриклассовых дисперсий

весьма широко используется в задачах кластер-анализа в качестве критерийной оценки разбиения [125], [11], [105], [107], [75], [76] и др.;

— сумма попарных внутриклассовых расстояний между элементами

в большинстве ситуаций приводит к тем же наилучшим разбиениям, что и Qx (S), и тоже используется для сравнения кластер-процедур

[70], [45], [7];

— обобщенная внутриклассовая дисперсия Q3 (S) является, как известно [4, с. 2311, одной из характеристик степени рассеивания многомерных наблюдений одного класса (генеральной совокупности) около своего «центра тяжести». Следуя обычным правилам вычисле­

где x(jV)—ѵ-я компонента многомерного наблюдения X t, ал4ѵ>(/)—сред­ нее значение ѵ-й компоненты, подсчитанное по наблюдениям I-го класса.

86

Встречается и другой вариант использования понятия обобщенной дисперсии как характеристики качества разбиения, в котором опера­ ция суммирования Wl по классам заменена операцией умножения

QAS)= П (det W $ l . i=1

Как видно из формул (3.12 и 3.13), функционал Q3 (5) является средней арифметической (по всем классам) характеристикой обобщен­ ной внутриклассовой дисперсии, в то время как функционал Qi (S) пропорционален средней геометрической характеристике тех же ве­ личин.

Заметим, что использование функционалов Q3 (S) и Q4(S) является особенно уместным в ситуациях, при которых исследователь, в первую очередь, задается вопросом: не сосредоточены ли наблюдения, разби­ тые на классы S4, S 2, ..., S h, в пространстве размерности меньшей, чем р?

З а м е ч а н и е . При вероятностной модификации схем кластеранализа соответственно видоизменится запись приведенных выше функционалов. Так, например,

Q I ( S ) = 2 } p*(X,X(i))P(dX),

!= 1S(

где

параметров, характеризующих межклассовую и внутриклассовую структуру наблюдений. Зададимся вопросом: нельзя ли выделить такой достаточно полный набор величин «i(S), u2(S),..., характеризую­ щих как межклассовую, так и внутриклассовую структуру наблюде­ ний при каждом фиксированном разбиении на классы S, чтобы су­ ществовала некоторая функция Q (щ, и2, ...) от этих величин, которую мы могли бы считать в каком-то смысле универсальной характеристи­

числовые характеристики: степени близости элементов внутри клас­ сов (ы4); степени удаленности классов друг от друга (и2); степени «оди­ наковости» распределения многомерных наблюдений внутри классов (и3); степени равномерности распределения общего числа классифи­ цируемых наблюдений п по классам (м4).

Что касается установления общего вида функции Q (щ, и2, и3, м4), то без введения дополнительной априорной информации о наблю­ дениях Х і (характере и общем виде их закона распределения внутри

87

классов и т. п.) единственным возможным подходом в решении этой задачи, как нам представляется, является экспертно-эксперименталь­ ное исследование. Именно с этих позиций в [12] сделана попытка опре­ деления общего вида функции Q. Чтобы определить рассмотренные в этой работе величины иъ и2, и3 и «4, введем понятие кратчайшего не­ замкнутого пути (КИП), соединяющего все п точек исходной сово­ купности в связный неориентированный графе минимальной суммарной длиной ребер1. Под длиной ребра понимается расстояние между соот­ ветствующими точками совокупности в смысле выбранной метрики. Построение такого графа можно начать с пары наиболее близких точек. Если таких пар несколько, то выбирается любая из этих пар. Пусть это будут наблюдения с номерами і0 и /0. Затем с помощью срав­

Всего таких ребер, как легко видеть, будет пг — 1. И пусть pm]n (р) — минимальное из ребер, непосредственно примыкающих к ребру f> и относящихся к /-му классу, если таковое имеется. Занумеруем в оп­ ределенном порядке граничные, разрубленные ребра Я,1( таким образом, чтобы имелось взаимно-однозначное соответствие

между номерами граничных ребер и номерами примыкающих к ним классов, за исключением одного, геометрически представленного одним из «хвостов» графа. На рис. 3.2 представлено изображение кратчайшего незамкнутого пути. Выбрасывая ребра I, II, III, полу­ чаем четыре связных графа, что соответствует разбиению совокупности на четыре группы. Обозначим с помощью \ одно из таких ребер /-го класса.

1 Использование КНП в задачах классификации имеет длинную историю. Методы классификации, основанные на КНП, использовались для решения за­ дач в области антропологии, биологии, сельского хозяйства, лингвистики (см.,

любую из точек Хт (ід) и Хт (/ ).

88

Теперь, следуя [12], мы опреде­

лим величины щ следующим обра­ зом:

k ~ 1 / = 1

Рис. 3.2. Графическое изображение кратчайшего незамкнутого пути

Эмпирический перебор различных вариантов общего вида функции Q в сочетании с анализом результатов экспертных оценок качества всевозможных разбиений привели авторов [12] к следующей формуле:

(3.15)

где а, Ь, с и d — некоторые неотрицательные параметры, оставляющие исследователю определенную свободу выбора в каждом конкретном случае. Авторы [12] отмечали хорошее согласие своих экспериментов с экспертными оценками при a = ö = c = d = 1.

тором Q (S*) = max Q (S ). s

Конечно, данный выбор количественного и качественного состава величин Ui и, в еще большей степени, их точное определение являются чисто эвристическими и подчас просто спорными. Это относится, в первую очередь, к величине и3. Поэтому читатель должен принимать описанную здесь схему не как рекомендацию к универсальному ис­ пользованию функционалов, типа (3.15) в задачах кластер-анализа, но лишь как описание конкретного примера одного из возможных подходов при выборе функционалов качества разбиения.

б) Функционалы качества разбиения при неизвестном числе классов.

В ситуациях, когда исследователю заранее не известно, на какое число классов подразделяются исходные многомерные наблюдения Хи Х ъ ..., Хп, функционалы качества разбиения Q (S ) выбирают чаще всего в виде простой алгебраической комбинации (суммы, разности, произведения, отношения) двух функционалов Ix (S) и / 2 (S), один

89

из которых Іх является убывающей (невозрастающей) функцией числа классов k и характеризует, как правило, внутриклассовый разброс наблюдений, а второй / 2 является возрастающей (неубывающей) функцией числа классов k. При этом интерпретация функционала / 2 может быть различной. Под / 2 понимается иногда и некоторая мера взаимной удаленности (близости) классов, и мера тех потерь, которые приходится нести исследователю при излишней детализации рассмат­ риваемого массива исходных наблюдений, и величина, обратная так называемой «мере концентрации» всей структуры точек, полученной при разбиении исследуемого множества наблюдений на k классов. В [41], например, предлагается брать

Л ( 5 ) = ѵ 2 Р(Х„ Х(/))

I = i x i esl

и

h (5) = ck (S),

где k (S) — число классов, получающихся при разбиении S, а с — некоторая положительная постоянная, характеризующая потери ис­ следователя при увеличении числа классов на единицу.

Другой вариант функционалов качества такого типа можно найти, например, в [10], где полагают

Весьма гибкой и достаточно общей схемой, реализующей идею одновременного учета двух функционалов, нам представляется схема, предложенная А. Н. Колмогоровым (см. сноску к стр. 83). Эта схема опирается на понятия меры концентрации Zr(S) точек, соответствую­

щей разбиению S, и средней меры внутриклассового рассеяния l[K) (S), характеризующей то же разбиение S.

90

Под мерой концентрации Zr (S) предлагается понимать величину

где V ( X i ) — число элементов в кластере, содержащем точку X t , а выбор числового параметра г находится в распоряжении исследователя и за­ висит от конкретных целей разбиения. При выборе г полезно иметь в виду следующие частные случаи Zr (S):

Заметим, что при любом г предложенная мера концентрации имеет

минимальное значение, равное , при разбиении исследуемого множе­

ства на п одноточечных кластеров и максимальное значение, равное 1, при объединении всех исходных наблюдений в один общий кластер.

При конструировании и сравнении различных кластер-процедур полезно иметь в виду, что объединение двух кластеров 5 г и S m в один дает прирост меры концентрации Zx (S), равный

Определение средней меры внутриклассового рассеяния l[K) (S) также опирается на понятие степенного среднего. В частности, пола­ гают

91

понимается обобщенная средняя мера рассеяния, характеризующая класс Si. Числовой параметр г здесь, как и прежде, выбирается по ус­ мотрению исследователя.

Полагая

в один дает прирост величины п [/*к) (S)]r, непосредственно характе­ ризующей среднюю меру внутриклассового рассеяния, равный

А (п [/^ К ). Если же одновременно ориентироваться и на рост взвешен­ ной концентрации Z^S), то объединение кластеров естественно под­ чинить требованию минимизации величины

а\п(ПК)у]

АZ i(S )

ская комбинация функционала, характеризующего среднее внутри­ классовое рассеяние (3.20), и функционала, характеризующего меру концентрации полученной структуры (3.18), достигала бы своего экстремума. В качестве примеров можно привести комбинации Q (S)

92