книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

Этим условиям удовлетворяет, например, последовательность

Yv -= Vі1_е . где 0 < е < 42- •

В работе [7] применительно к спрямляющему пространству Z по­ казано, что с вероятностью 1 разбиение, задаваемое алгоритмом Б3а 2, при неограниченном увеличении объема выборочной совокупности приближается к классу разбиений, среди которых находятся оптималь­

в довольно общих ситуациях алгоритмы Б2а ь Б 2а 2 дают при больших объемах исследуемых совокупностей устойчивые и близкие к оптималь­ ным (в смысле соответствующих функционалов) разбиения, хотя упо­ мянутые выше теоретические свойства алгоритмов и не гарантируют нам этого.

5. Последовательные кластер-процедуры и метод стохастической аппроксимации

-Большое число последовательных кластер-процедур может быть по­ лучено с использованием метода стохастической аппроксимации. Опи­ шем в чем состоит этот метод.

Пусть некоторый вектор Y является случайным вектором, инду­ цирующим в пространстве своих возможных значений вероятностную меру Рх, зависящую от некоторого фиксированного векторного пара­

обладает единственным корнем Ѳ. Ставится задача отыскать этот корень. Если бы распределение Р х было известно при всех значениях X, то мы могли бы найти корень Ѳпрямо из уравнения (3.32). Но часто возникают ситуации, в которых распределение Рх неизвестно и, следовательно, неизвестен вид функции т (X). Метод стохастической аппроксимации предлагает итерационную процедуру для оценки Ѳ с помощью наблю­ дений над случайным вектором Y при различных значениях X. Итера­ ционная процедура метода стохастической аппроксимации для этой задачи имеет вид:

где Ѳ<ѵ>— ѵ-е итерационное значение неизвестного параметра, а Yv — ѵ-е наблюдение исследуемого случайного вектора. В качестве началь­ ного значения ѲН) можно брать любой вектор.

1 Имеется в виду, что параметры разделяющей гиперплоскости данного ал­ горитма с вероятностью единица стремятся (при п —» оо) к параметрам а и с, оп­ ределяемым по формулам (3.22).

123

При определенных условиях на вид функции т (X), на Рх и на по­ следовательность уп доказаны теоремы о сходимости описанной процедуры к корню уравнения (3.33) ([9], [36] — [40]). Сходимость может пониматься в разных смыслах (в среднем квадратичном, почти всюду

^Легко понять, что задача поиска единственного экстремума некото­ рой исследуемой функции R (X), точный вид которой может быть неизвестен, сводится к задаче оценки единственного корня уравнения aR (А) = 0, которое является частным случаем уравнения (3.32).

Поэтому для оценки единственного экстремума исследуемой функ­

ции можно использовать описанную выше итерационную процедуру

(3.33).

Перейдем непосредственно к задачам кластер-анализа. Пусть X (как и раньше) — пространство всевозможных значений признаков исследуемых объектов. Будем считать, что на X задана плотность ве­ роятности f (X ). Предположим, что задано разбиение S пространства X на k ^непересекающихся областей 5 —{Sx, ..., Sfe}. Допустим, что для каждой области 5 г разбиения S заданы функции потерь Ft (X , S), ко­ торые оценивают потери при попадании объекта X в область 5-

ция потерь). Задача классификации в данной постановке может рас­ сматриваться как задача нахождения такого разбиения S пространства

классификации в этом случае сводится к задаче нахождения раз­ биения S*, для эталонных точек которого R (Е*) минимально.

124

Уравнения (3.35) определяют границы между соседними областя­ ми при тех значениях эталонных точек Е, которые удовлетворяют уравнениям (3.34).

При некоторых, не очень жестких предположениях на функции потерь Ft (X , Е) [32], разбиение 5, удовлетворяющее уравнениям (3.34)

потерь, можно строить оптимальное разбиение S по оптимальным эта­ лонным точкам, которые определяются как решения уравнений (3.34), (3.35).

Процедура стохастической аппроксимации для оценки корня урав­

1, если X £ S 0

Х і ( Х , Е)

О, если X(£Sj.

В зависимости от вида функций Ft (X, Е), т. е. от вида экстремизируемого функционала R (S), получаются различные итерационные процедуры. Рассмотрим некоторые из них.

Воспользуемся переходом в так называемое спрямляющее про­ странство Z (см. стр. 94), сопоставив каждой р-мерной точке X из ис­ ходного пространства X Х-мерную точку

bl Фі(Х)

Z(X) =

фтѵ (X)

Здесь {фх (X), ..., фл? (X)} — набор известных функций от р перемен­ ных, а — некоторые константы.

Таким образом, любое множество А из X отобразится в соответствую­

щее множество А ={Z (X) : X £ А} из Z. В частности, любая система эталонных точек е = {еъ ..., ek} отобразится в соответствующую ей

систему эталонных точек Е = {ех, .... eh} £ Z

Пусть FI(X, Е) = || Z (X) —'еі ||2 + 2 F j 2-

т= 1 (т Ф і)

125

Тогда алгоритм стохастической аппроксимации для поиска экс­ тремума функционала

Нетрудно убедиться в том, что если k = 2, то приведенный алгоритм при соответствующем подборе уп совпадает с алгоритмом работы [10] в том случае, когда потенциальная функция К (X, Y) может быть пред­ ставлена в виде ряда

К (X, У) = V X? Фг (X) фг (Y) = (Z (X), Z (У)).

Это же можно записать в эквивалентной форме с помощью соотношений

ляется по X так же, как и в п. (а). Алгоритм стохастической аппрокси­ мации в этом случае запишется в виде:

ею

126

Очевидно, что этот алгоритм близок к алгоритму работы [7], когда

N

К (X, Y) = ^ Kf ф; (X ) срг (Y), хотя полностью и не совпадает с ним.

і= 1

Вописанном только что алгоритме в отличие от алгоритма из [7].

Каждое ѵ-е приближение разделяющей гиперплоскости (в спрямляющем

пространстве Z) проходит через середину отрезка е(іѵ> — е(2ѵ).

Пусть теперь Ft {X, Е) = ||Х — etf. В этом случае алгоритм стохастической аппроксимации для нахождения экстремума функцио­ нала R (S) совпадает с алгоритмом [56]. Действительно, алгоритм сто­

6. Замечание о методах предварительной обработки классифицируемых наблюдений

Предварительная обработка данных преследует в основном две цели:

1)техническую, связанную с сокращением времени и уменьшением машинной памяти, необходимых при использовании алгоритмов клас­ сификации;

2)теоретическую, направленную на улучшение результатов дей­ ствия применяемых алгоритмов.

Косновным приемам, с помощью которых исследователь добивается достижения сформулированных выше целей, можно отнести:

—агрегирование данных, заключающееся в переходе от классифи­ кации исходных элементов к классификации объектов, каждый из которых представляет собой ту или иную форму выражения целой груп­ пы заведомо однородных исходных элементов;

■— выбор начальных приближений для эталонных точек (е<0)), для неизвестного числа классов (&(0)). для искомого разбиения (S<°>),

к одному (общему) классу, или на последовательное убывание опреде­ ленным образом заданной величины, характеризующей плотность на­ блюдений в окрестности соответствующей точки, и т. д.

Конечно, первое, что следует испробовать при решении этих за­ дач, — это профессиональный, экспертный подход. И лишь затем мож­ но воспользоваться формальными эвристическими приемами. Некото­ рые из них мы здесь опишем.

— некоторые методы «анализа мод».

127

Первая процедура [77] состоит в том, что для каждой точки Х£ис­

радиуса г с центром в точке Х г. После этого можно, задавшись некото­ рым порогом с, выбрать все точки X, с плотностью

!( Хі )> с.

Многие кластер-процедуры целесообразно применять сначала лишь к тем точкам совокупности, которые удовлетворяют этому условию. Остальные совокупности по некоторому правилу затем разносятся по уже сформированным классам.

Примером применения такого рода процедуры может служить ее использование при работе иерархического алгоритма, основанного на принципе ближайшего соседа (см. стр. 101). Эта процедура направ­ лена на устранение «цепочечного» эффекта алгоритма.

Процедура упорядочения классифицируемых точек по моде, вхо­ дящая в состав модификации иерархического алгоритма ближайшего соседа (см. стр. 101), может использоваться в качестве предварительной обработки при выборе начальных эталонных точек в эталонных парал­ лельных алгоритмах;

— упорядочение по принципу принадлежности «соседей» к одному классу. В работе [10] прежде чем пользоваться агломеративной иерар­

ностью. Если совокупность распадается некоторым образом на классы, то сначала будут перебираться элементы из одного класса, затем из

128

другого класса и т. д. Причем на границе между классами величина r ( S i , S i _ 1 ) будет резко убывать. Поэтому это переупорядочивание можно использовать для получения некоторого начального разбиения перед применением алгоритма, что и делается в [10]. При этом, как ука­ зано в [10], уменьшается и время счета, описанного в этой работе алго­ ритма. Кроме того, с помощью описанной процедуры можно предвари­ тельно оценить число классов разбиения, следя за скачками функции

г (Si, S £_х), [31, стр. 124].

Перечисленными примерами, очевидно, не ограничивается множе­ ство возможных предварительных процедур, которые могут выбираться в зависимости от вида каждого конкретного алгоритма классификации и типа реальных классифицируемых данных. Заметим, что любой классифицирующий алгоритм может служить процедурой предвари­ тельной обработки для некоторого другого алгоритма классификации, используемого в качестве основного.

§ 4. КЛАССИФИКАЦИЯ ОБЪЕКТОВ, ОПИСЫВАЕМЫХ НЕ ТОЛЬКО КОЛИЧЕСТВЕННЫМИ ПРИЗНАКАМИ (АКСИОМАТИЧЕСКИЙ ПОДХОД; ОБРАБОТКА ЭКСПЕРТНЫХ МНЕНИЙ)

Описанное выше множество кластер-процедур может быть исполь­ зовано для объектов, имеющих числовые признаки. Однако во многих практических исследованиях (например, в социологических) признаки бывают не только количественными. Естественно различать три типа признаков:

1)количественные — если значениями признака являются числа (например, возраст, заработная плата и т. д.);

2)ранговые (качественные) — если значения признака не являют­ ся числами, но характеризуют различную степень проявления этого признака. То есть между значениями признака имеется естественное упорядочение (например, квалификация изменяется от «высокой» до «низкой», степень удовлетворенности своей работой и т. д.);

3)номинальные (классификационные) — если значения признака не являются числами и не связаны естественным упорядочением (на­ пример, профессия, причина выезда из данного города и т. д.).

При исследовании объектов с ранговыми признаками обычно каж­ дому значению приписывается некоторый балл. Применение к таким балльным признакам общих кластер-процедур и связанное с ними при­ менение к балльным признакам арифметических операций требует, вообще, говоря, обоснования в каждом конкретном случае. Разработка этих обоснований еще только начинается [23].

Еще сложнее обстоит дело с обработкой номинальных признаков. Иногда значениям номинальных признаков приписывают баллы или эвристические показатели в соответствии с какой-либо содержательной гипотезой или мнениями экспертов.

Вработах [19] — [22] предложен возможный путь создания аппара­

та обработки признаков любого типа и намечены применения этого аппарата к задачам кластер-анализа.

Будем считать, что каждый из р измеряемых признаков объекта при­

сти на піі групп. А именно, для элементов из одной группы разбиения S (i>значение г-го признака одно и то же.

Задача разбиения совокупности объектов на группы на основе р измеряемых признаков может быть поставлена теперь следующим образом: по данным разбиениям St1), ..., Soo построить разбиение S исследуемой совокупности, наиболее «близкое» ко всем «однопризна­ ковым» разбиениям (или наиболее «согласованное» со всеми однопри­ знаковыми разбиениями).

Понятие разбиения наиболее «согласованного» с несколькими раз­ биениями, может возникнуть и в других ситуациях [2]. Например, допустим, что в результате применения нескольких алгоритмов или в результате опроса нескольких (т) экспертов получено несколько раз­ биений S*1), S<2), ..., S (m) совокупности из п объектов. Нужно найти разбиение S, которое в некотором естественном смысле было бы наи­ более согласовано со всеми ими, являясь их «концентрированным» выражением.

В простейшем случае, когда число заданных разбиений мало, по сравнению с числом исследуемых объектов, часто в качестве согласо­

Іт€ [ ^ >• ■• > ^ml■

Здесь kj — число классов в разбиении S (0.

Однако, как правило, подобного рода согласованные разбиения не представляют практического интереса, так как оказываются в боль­ шинстве случаев малосодержательными и слишком дробными: общее число k различных классов такого разбиения, как легко подсчитать, может достигать величины k2 ... km. Поэтому рассмотрим другие подходы к определению единого согласованного разбиения.

В общем случае принцип согласования исходных разбиений опре­ деляется заданием некоторой функции F (St1), ..., S W ) со значения­ ми в пространстве разбиений, т. е. правилом построения S по данным разбиениям St1), ..., S W . В случае, когда мы ограничиваемся лишь упорядоченными разбиениями1 S, St1), ..., S<m), Эрроу [34] сформули­

1 Разбиение S = { . . . , S^] называется упорядоченным, если задано пра­ вило линейного упорядочения классов S; (считается, что нумерация классов соот­ ветствует этому упорядочению). Очевидно, числовые и ранговые признаки опре­ деляют упорядоченное разбиение.

130

ровал 5 аксиом — естественных требований, которым должна удовлет­ ворять функция F , и показал, что не существует функции F , одновре­ менно удовлетворяющей всем пяти аксиомам.

В[20] рассматривается применение метода Эрроу к случаю, когда

иаргументы функции F и ее значения не упорядочены. Показано, что естественные требования (аналогичные аксиомам Эрроу) приводят к пе­ ресечению разбиений как единственному принципу согласования. В на­ иболее часто встречающихся ситуациях, когда число классов согласо­ ванного разбиения ограничено заранее, в [20] доказана теорема о не­ возможности выбора согласованного разбиения. Можно показать, что при некотором смягчении требований к функции F , а именно, при отказе от одной из приведенных в [20] пяти аксиом, общий вид согласованного разбиения, содержащего не более чем k классов, задается следующей

т. е. среди исследуемых разбиений найдется такое, которое может быть принято в качестве согласованного1.

Более плодотворным подходом к решению задачи выявления единого согласованного разбиения объектов на классы нам представляется под­ ход, основанный на понятии «расстояния между разбиениями», обсуж­ даемый, в частности, в [19] — [21]. Остановимся на нем несколько под­ робнее. Пусть с каждым разбиением S связана квадратная булева матрица {S^ >} (і, / = 1, ..., п) следующим образом: если S — не­ упорядоченное разбиение, то S ‘>= 1 тогда и только тогда, когда объ­ екты Х і и Xj лежат в одном классе разбиения, а если S — упорядочен­ ное разбиение, то SiJ = 1 тогда и только тогда, когда объект Хг на­ ходится в классе, совпадающем или предшествующем классу объекта X j . Упорядоченным разбиениям ставятся в соответствие блочно-тре­ угольные, а неупорядоченным — блочно-диагональные булевы матриц.

О п р е д е л е н и е . Расстоянием d (SW, SW) между разбиениями SW и SW называется функция, удовлетворяющая некоторым естест­ венным требованиям (аксиомам).

А к с и о м а 1. Расстояние d (SW, SW) обладает следующими свой­ ствами геометрического расстояния:

исключением множества Е, являющегося объединением некоторых подклассов и в разбиении S W и в разбиении SW , то d (SW , SW ) вы­ числяется так, как если бы рассматривались лишь разбиения множе­ ства Е.

А к с и о м а 4. Эта аксиома задает масштаб измерения — макси­

Тогда в качестве единого согласованного разбиения относительно заданного набора S W , ..., S<m) можно использовать, например, так называемую медиану S<med>, определяемую соотношением

где H — некоторое множество допустимых разбиений (упорядоченных или находящихся «между» заданными и т. п.).

В [20] автор обращает внимание читателей на опасность универ­ сальности расстояния (3.37), используемого как для упорядоченных, так и для неупорядоченных разбиений. В случае большого объема ис­ следуемой совокупности (п — велико) и малого числа классов k ин­ формация об их упорядочении невелика, в то время как значение функ­ ции расстояния может зависеть очень сильно от того, упорядочено раз­ биение или нет. Например, если SW — неупорядоченное разбиение, а SW получено из него упорядочением классов, то d (SW, SW) может достигать значения п/8.

Переформулируем понятия «расстояния» и «между» для разбиений

132