книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

и Q' (S), задаваемые формулами (3.16) и (3.17), а также более общие выражения вида

совое рассеяние l)K) (S*) или в двойственной подстановке: при задан­ ном пороговом значении / 0 найти разбиение S* с внутриклассовым

рассеянием l (rK) (S'*) =£7 /0 и наибольшей концентрацией ZT(5*).

г) Функционалы качества и необходимые условия оптимальност разбиения. Естественно попытаться проследить, в какой мере выбор того или иного вида функционала качества определяет класс раз­ биений, в котором следует искать оптимальное. Приведем здесь неко­

Таким образом, класс Sj (E) состоит из тех точек пространства X,. которые ближе к Ej, чем ко всем остальным Et (і Ф j). Если для не­ которых точек из X самыми близкими являются сразу несколько век­ торов Ej (/ = 1, ...,&), то мы относим эти точки к классу с минималь­ ным индексом.

Разбиение S = (Sx, ..., Sk) называется несмещенным разбиением, если это разбиение с точностью до множеств меры нуль совпадает с минимальным дистанционным разбиением, порождаемым векторами

/= і

1Здесь и в дальнейшем S, означает дополнение множества S, до всего про­ странства X, т. е. совокупность всех наблюдений (элементов пространства X), не входящих в состав Sj.

93.

разбиениях. Это означает, что оптимальное разбиение обязательно должно быть несмещенным.

У т в е р ж д е н и е 2: для функционалов от разбиений на два класса. Следующее утверждение относится к довольно широкому классу функционалов качества разбиения совокупности на два класса. Разбиение на два класса может быть задано с помощью так называе­ мой разделяющей функции. А именно, точки пространства X, на кото­ рых разделяющая функция принимает неотрицательное значение, относятся к одному классу, а остальные — к другому. Поэтому поиск класса оптимальных разбиений в этом случае эквивалентен поиску класса оптимальных разделяющих функций.

Для иллюстрации дальнейшего изложения будем рассматривать вероятностную модификацию функционала Q' (3.14).

Пусть расстояние р (X, Y) задается с помощью соотношения (3.3) потенциальной функцией вида

К(Х, ¥)=-- I! Я?Фі(Х)Фі(У),

і= 1

где фі (X) (г = 1, ..., N) — некоторая система функции на X. Функционал Qj через потенциальную функцию К (X, Y) выража­

ется следующим образом:

Q’a(S) = 2 [ K ( X , X ) P ( d X ) - 2 ± SS K ( X . Y ) P ( d X ) P ( d Y ) -

X И 1 s,s,

- 2 - J - S ü K(X,Y)P(dX)P(dY).

Fi s2s„

Поскольку в правой части этого равенства первый интеграл не зави­ сит от разбиения, то минимум функционала Q' (5) достигается на тех разбиениях, на которых функционал

достигает максимума.

Введем в рассмотрение спрямляющее пространство Z, коор­

.94

функций в спрямляющем пространстве Z, среди которых следует ис­ кать разделяющую функцию, доставляющую экстремум функционалу качества разбиения. А именно, показано, что если функционал ка­

чества Ф является дифференцируемой функцией от М(г-Ѵ) (ѵ =1, ..., г),. а вероятностное распределение Д 2* сосредоточено на ограниченном множестве Z и обладает непрерывной плотностью, то если экстремум функционала Ф достигается на некоторой разделяющей функции,, то этот же экстремум достигается на разделяющей функции, являю­ щейся полиномом г-й степени вида:

f(Z)= І (сѵ, г*),

ѵ = і

где

дФ _ дФ дш[ѵ) ам^ѵ) ’

а (сѵ, Zv), означает при четном ѵ произведение чисел сѵ и Zv, а при не­ четном V — скалярное произведение векторов сѵ и Zv.

Для функционала Q' сформулированное означает, что класс раз­ деляющих функций, среди которых надо искать наилучшее в спрям­ ляющем пространстве разбиение, имеет вид

Класс разделяющих функций в спрямляющем пространстве очевидным: образом определяет класс разделяющих функций в исходном простран­ стве X.

Если К (X , Y) = (X, Y) является скалярным произведением век­ торов X и Y, то спрямляющее постранство Z совпадает с исходным

95.

сточностью до константы.

Вэтом случае, как нетрудно видеть, разбиение, задаваемое разде­ ляющей функцией / (Z), является несмещенным разбиением.

д) Функционалы качества разбиения как результат применени метода максимального правдоподобия к задаче статистического оцени­ вания неизвестных параметров. Приведем здесь пример, иллюстри­

рующий возможность обоснования выбора общего вида функционала качества разбиения на классы в ситуациях, в которых исследователю удается «втиснуть» свою задачу в рамки одной из классических моде­ лей.

Пусть априорные сведения позволяют определить і-й однород­ ный класс (кластер) как нормальную генеральную совокупность на­ блюдений с вектором средних аг и ковариационной матрицей 2*. При этом at и 2 Ь вообще говоря, неизвестны. Нам известно лишь, что каждое из наблюдений Хх, Х 2, ..., Хп извлекается из одной из k нор­ мальных генеральных совокупностей Х (а;, 2 г), і = 1, 2, ..., k. Задача исследователя — определить, какие пх из п исходных наблюдений из­

получаем логарифмическую функцию правдоподобия для наших наблюдений Xlt Х2, ..., Хп.

у на классы Sx, S2, •••, Sk, а также такие вектора средних at и кова­

риационные матрицы 2 и при которых величина —21 (Ѳ) достигала бы своего абсолютного минимума1.

1 Оговоримся сразу, что даже факт состоятельности полученных при этом

оценок Ѳостается под сомнением, поскольку размерность неизвестного векторно­ го параметра Ѳ превосходит в данном случае общее число наблюдений, которыми мы располагаем.

■96

При известном разбиении у оценками максимального правдо­ подобия для at будут «центры тяжести» классов

Х Ы { 1 ) = ± 2 X t, 1=1,2, .... k. ni xi£Sl

Подставляя их в (3.23) вместо аг и воспользовавшись очевидными тождественными преобразованиями, приходим к эквивалентности задачи поиска минимума функции —21 (Ѳ), определенной соотноше­ нием (3.23), и задачи поиска минимума выражения

В последнем выражении Wt выборочная ковариационная матрица, вычисленная по наблюдениям, входящим в состав 1-го класса (3.13).

Анализ выражений (3.24) и (3.25) в некоторых частных случаях немедленно приводит к следующим интересным выводам:

— если ковариационные матрицы исследуемых генеральных сово­ купностей равны между собой и известны, то задача оценивания не­ известного параметра Ѳ по методу максимального правдоподобия равносильна задаче разбиения наблюдений Хг на классы, подчинен­ ной функционалу качества разбиения вида (S), в котором под рас­ стоянием р подразумевается расстояние Махаланобиса;

— если ковариационные матрицы исследуемых генеральных сово­ купностей равны между собой, но не известны, то, подставляя в (3.25) вместо = 2 ее оценку максимального правдоподобия

2= -

п1=1

убеждаемся в эквивалентности задачи оценивания по методу макси­ мального правдоподобия параметра Ѳ и задачи поиска разбиения наблюдений X* на классы, наилучшего в смысле функционала ка­ чества Q4 (S).

В [68] авторы пытаются конструировать алгоритмы, реализующие идею получения оценок максимального правдоподобия для параметра Ѳ. Однако нам представляется главная ценность подобного подхода

лишь в его методологической, качественной стороне, в том, что он по­ зволяет строго осмыслить и формализовать некоторые функционалы качества разбиения, введенные ранее чисто эвристически. Конструк­ тивная же сторона подобного подхода упирается в трудно преодолимые препятствия вычислительного плана, связанные с колоссальным ко­ личеством переборов вариантов уже при сравнительно небольших размерностях р и объемах выборки.

5. Эталонные точки

Под эталонными точками группы обычно понимают точки в иссле­ дуемом р-мерном факторном пространстве, которые по какому-либо правилу могут быть выбраны в качестве представителей этой группы. На «старте» алгоритма классификации в качестве эталонных точек выбираются, как правило, наблюдения из обучающих или квази­ обучающих выборок (если таковые имеются). В дальнейшем, т. е. в ходе итерационного процесса комплектования классов, в качестве эталонных точек берут, например, «центры тяжести» соответствующих групп, полученных к данному промежуточному этапу алгоритма клас­ сификации.

§2. ОСНОВНЫЕ ТИПЫ ЗАДАЧ КЛАСТЕР-АНАЛИЗА

ИОСНОВНЫЕ ТИПЫ КЛАСТЕР-ПРОЦЕДУР

т-первых, целесообразно подразделение всех задач кластеранализа на два основных типа Бх и Б 2 в зависимости от объема п сово­

му, могут быть отнесены задачи классификации некоторых макро­ объектов, таких, как страны, города, фирмы, предприятия, типы тех­ нологических процессов и т. п.

К типу Б2 будем относить задачи классификации достаточно боль­ ших массивов многомерных наблюдений (п — порядка нескольких сотен и тысяч; классификация индивидуумов, семей, изделий, неко­ торых промышленных и технических микрообъектов). Подобное разделение задач классификации на два типа хотя и условно, но весь­ ма необходимо, и в первую очередь с точки зрения принципиально­ го различия идей и методов, на основании которых конструируются кластер-процедуры в том и в другом случае. Например, для задач типа Б 2 целесообразно построение процедур последовательного типа, обладающих достаточно хорошими, хотя бы асимптотическими по п свойствами.

С точки зрения априорной информации об окончательном числе классов, на которое требуется разбить исследуемую совокупность объектов, задачи кластер-анализа можно подразделить на три ос­ новных типа:

а) число классов априори задано;

98

ловие задачи; требуется построить так называемое иерархическое дерево исследуемой совокупности, состоящей из п объектов (многомер­ ных наблюдений).

Под иерархическим деревом понимается последовательность пар

Рис. 3.3. Иерархическое дерево как геометрическое представление резуль­ тата действия иерархической процедуры разбиения наблюдений на классы:

а) агломеративное дерево; б) дивизимное дерево

Иерархическое дерево может быть двух типов. Если St1) — разбие­ ние, состоящее из п одноэлементных классов, а каждый класс разбие­

На рис. 3.3 схематически изображены два типа иерархических деревьев. Каждая вершина дерева изображает класс объектов.

— процедуры иерархические (агломеративные и дивизимные). Предназначены в основном для решения задач типа (в). Что касается объема классифицируемой совокупности, то формально иерархические процедуры применимы и для задач Бь и для задач Б 2. Однако посколь­

ку эти процедуры основаны на переборе элементов матрицы расстоя­ ний р ( X h X j ) (или матрицы соответствующих мер близости), то конст­ руктивно реализуемыми их можно признать лишь в пределах задач типа Б].. Следует отметить, что иерархические процедуры применяются иногда и для решения задач типов Б1а и Б1б (см. ниже);

—процедуры параллельные. Предназначены для решения задач типов Б1а и Б1б. Они реализуются с помощью итерационных алгорит­ мов, на каждом шаге которых одновременно (параллельно) исполь­ зуются все имеющиеся у нас наблюдения;

—процедуры последовательные. Предназначены в основном для решения задач типов Б 2а и Б 2б. Они реализуются с помощью итера­ ционных алгоритмов, на каждом шаге которых используется лишь небольшая часть, например одно из исходных наблюдений, а также результат разбиения на предыдущем шаге.

§3. ОПИСАНИЕ КЛАСТЕР-ПРОЦЕДУР

ИИХ ОСНОВНЫХ СВОЙСТВ

1.Иерархические процедуры

Как отмечалось выше, принцип работы иерархических агломеративных (дивизимных) процедур состоит в последовательном объеди­ нении (разделении) групп элементов сначала самых близких (дале­ ких), а затем все более отдаленных друг от друга (приближенных друг к другу). При этом агломеративные процедуры начинают обычно

собъединения отдельных элементов, а дивизимные — с разъединения всей исходной совокупности наблюдений.

Снекоторой точки зрения иерархические процедуры, по сравнению

сдругими кластер-процедурами, дают более полный и тонкий анализ структуры исследуемого множества наблюдений. Привлекательной стороной подобных алгоритмов является и возможность наглядной интерпретации проведенного анализа. Легко себе представить также использование иерархических процедур и для решения задач кластеранализа типов (а) и (б), т. е. для разбиения наблюдений на какое-то объективно обусловленное число классов, заданное или известное. При решении задач типа(а) для этого, очевидно, следует продолжать реали­ зацию иерархического алгоритма до тех пор, пока число различных классов не станет равным априори заданному числу k. При решении задач типа (б) естественно было бы подчинить правило остановки иерар­

хической процедуры одному из критериев качества разбиения [10]. К недостаткам иерархических процедур следует отнести громозд­ кость их вычислительной реализации. Соответствующие алгоритмы на каждом шаге требуют вычисления всей матрицы расстояния, а сле­ довательно, емкой машинной памяти и большого времени. Поэтому реализация таких алгоритмов при числе наблюдений, большем нес­ кольких сотен, оказывается либо невозможной, либо нецелесообраз­

ной.

Кроме того, имеется широкий класс достаточно естественных примеров, в которых иерархические процедуры, даже подчиненные

100

на каждом шаге некоторому критерию качества разбиения, приводят для любого наперед заданного числа кластеров k к разбиению, весьма далекому от оптимального в смысле того же самого критерия качест­ ва. Если прибавить к этому широкое экспериментальное подтвержде­ ние того же эффекта [28], то можно прийти к выводу, что «конечная неоптимальность» оптимального иерархического алгоритма является скорее правилом, чем исключением. Специфический характер метода образования групп, свойственный иерархическим процедурам, ока­ зывается, по-видимому, слишком жестким ограничением с точки зре­ ния экстремального подхода к решению задач классификации наблю­ дений при определенном числе классов.

Приведем некоторые примеры иерархических алгоритмов:

•— агломеративный иерархический алгоритм «ближайшего соседа» (или «одной связи»). Этот алгоритм исходит из матрицы расстояний между наблюдениями, в которой расстояние между кластерами опре­ делено по формуле (3.4). На первом шаге алгоритма каждое наблюде­ ние X t (і = 1, 2, ..., п) рассматривается как отдельный кластер. Далее на каждом шаге работы алгоритма происходит объединение двух самых близких кластеров и соответственно по формуле (3.4) пере­ считывается матрица расстояний, размерность которой, естественно, снижается на единицу. Работа алгоритма заканчивается, когда все исходные наблюдения объединены в один класс. Поскольку расстоя­ ние между любыми двумя кластерами в этом алгоритме равно расстоя­ нию между двумя самыми близкими элементами, представляющими свои классы, то получаемые в итоге кластеры могут иметь достаточно сложную форму, в частности, они не обязаны быть выпуклыми; ведь два элемента (наблюдения) попадают в один кластер, если существует соединяющая их цепочка близких между собой элементов. Это обстоя­ тельство можно отнести как к достоинствам алгоритма, так и к его недо­ статкам.

Для устранения опасности появления случайных, не характерных для исследуемого явления объединений [77] предложена модификация алгоритма «ближайшего соседа». Эта модификация состоит в том, что элементы исследуемой совокупности включаются в рассмотрение в порядке убывания плотности наблюдений в их окрестности, причем плотность оценивается как величина, обратная расстоянию до самого дальнего из т элементов, ближайших к данному. Целое число т назначается заранее из некоторых априорных соображений и, по смыс­ лу использования в процедуре, определяет число элементов (в коли­ честве т + 1) в кластере, являющемся наиболее представительным, наиболее населенным среди всех кластеров, образующихся на первом шаге процедуры. А кластеры эти образуются по следующему прави­ лу. Из элементов исследуемой совокупности (Xt), занумерованных в порядке возрастания расстояния R t (т) от каждого из них до самого дальнего из т ближайших к нему соседей, выбираются вначале т то­ чек, попавших в окрестность точки Х г радиуса R1(т), и из этих (т+1) точек формируется первый кластер S ±. Затем берется следующая по порядку точка Х іг из числа п — т — 1 оставшихся, т. е. не попавших в кластер S lt и к ней «притягиваются» для образования следующего

101

класса все точки, из числа не попавших в кластер Si, попадающие в ее окрестность радиуса R i2 (т), и т. д. Следует отметить, что описан­ ная модификация алгоритма ближайшего соседа, оставаясь агломеративной процедурой, уже не является, строго говоря, процедурой иерархической, так как не предусматривает в качестве обязательного итога объединение всех наблюдений в один класс.

Существуют и другие способы устранения цепочечного эффекта при образовании классов с помощью алгоритма ближайшего соседа. Наиболее простым и естественным из них можно признать, например, введение ограничения сверху на максимальное расстояние между элементами одного класса: если при формировании классов для неко­ торых элементов получаемого кластера взаимное расстояние превы­

Отметим, что существует тесная связь между алгоритмом ближай­ шего соседа и различными алгоритмами, основанными на представ­ лении матрицы расстояний в виде графа [8], [13], [46]:

— агломеративные иерархические алгоритмы «средней связи», «полной связи» (или «дальнего соседа») и «минимального внутриклассового разб­ роса». Эти алгоритмы отличаются от описанного выше алгоритма «ближайшего соседа» лишь способом вычисления расстояния между классами. В алгоритме средней связи под расстоянием между клас­ терами понимается среднее из расстояний между всевозможными парами представителей этих кластеров, и следовательно, это расстоя­ ние вычисляется по формуле (3.7). В алгоритме полной связи (или дальнего соседа) расстояние между двумя кластерами определяется как расстояние между двумя самыми отдаленными друг от друга пред­ ставителями своих кластеров, т. е. вычисляется по формуле (3.5). В оп­ тимальном иерархическом алгоритме (в алгоритме минимального внут­ риклассового разброса) расстояние между кластерами определяется по формуле (3.10);

— К-обобщенная иерархическая процедура, т. е. обобщенная по Колмогорову. Поскольку все вышеперечисленные виды расстояний между кластерами могут быть получены в качестве частных случаев обобщенного расстояния Колмогорова (3.8), то нам представляется естественным ввести понятие /(-обобщенной иерархической процеду­ ры. Очевидно, в класс /(-обобщенных иерархических процедур следует включить все обычные иерархические алгоритмы, использующие в качестве расстояний между кластерами обобщенное расстояние Колмогорова (3.8) при том или другом конкретном выборе числового параметра г;

— процедуры иерархические, использующие понятие порога. Общая схема подобных процедур отличается от обычной логической схемы ранее описанных иерархических процедур лишь дополнительным заданием последовательности, как правило, монотонной, порогов сь с2, .., си которые используются следующим образом. Для опреде­ ленности дадим пояснения для агломеративных процедур. На первом шаге алгоритма попарно объединяются элементы, расстояние между которыми не превосходит величины clt либо мера близости которых

102