4. Последовательные кластер-процедуры

Если число n классифицируемых наблюдений X₁, X₂, …X_n до­статочно велико (от несколько сотен и более), то как мы уже отмечали, реализация кластер-процедур иерархического и параллельного типов практически невозможна. В этих случаях пользуются итерационными алгоритмами, на каждом шаге которых последовательно обсчитывается лишь небольшая часть исходных наблюдений, например одно из них. В том, что n велико, имеются не только неудобства, но и свои преиму­щества. В частности, это позволяет исследовать асимптотические (по n) свойства соответствующих процедур, аналогичные, например, свойст­вам состоятельности, асимптотической несмещенности и т п., анализи­руемым в теории статистического оценивания и статистической провер­ки гипотез.

Как и в параллельных алгоритмах, основными средствами и идея­ми, при конструировании последовательных кластер-процедур явля­ются: мера близости или расстояние между группами; порог; эталон­ные множества или точки; функционал качества разбиения.

Так же, как и прежде, более простой, а главное всегда имеющей ре­шение, является обычная задача типизации, при которой исходное множество многомерных наблюдений разбивается на определенное чис­ло «областей группирования» по принципу наперед заданной взаимной близости элементов, отнесенных к одной области группирования. Простейшим примером такого рода является разбиение на интервалы группирования исходной выборки одномерных наблюдений, особенно необходимое как раз при достаточно больших объемах выборки n.

Именно такую задачу решает, например, простой последовательный алгоритм [70], [73], использующий понятие порога с. В этом алгоритме случайным образом выбирается точка X₁, которая объявляется центром e₁ первой группы. Затем точка Х₂ относится к первой группе, если ρ(X₂, e₁) ≤ c. В противном случае Х₂ принимается за центр второй группы X₂ = е₂ и т. д. На l-м шаге, когда уже имеется r групп, точка X_l либо становится центром (l+1)-й группы, либо относится к той из групп, для которой ρ(X_l, e_j) ≤ c. Если таких групп несколько, то выбирается та, к центру которой точка Х_l ближе всего; если и таких групп несколько, то устанавливаются некоторые соглашения о том, куда относить X_l в этом случае.

Остановимся далее на описании двух наиболее общих и наиболее исследованных последовательных кластер -процедурах (и некоторых их модификациях), допускающих, в частности, интерпретацию в вероят­ностных терминах.

а) Алгоритм Б_2a1. Метод k-средних [56]. Пусть наблюдения X₁, X₂, …, X_n требуется разбить на заданное число k (k≤n) однород­ных (в смысле некоторой метрики ) классов.

Смысл описываемого алгоритма — в последовательном уточнении эталонных точек (v — номер итерации, v = О, 1, 2, ...) с соответствующим пересчетом приписываемых им «весов» Ω(v) = .При этом нулевое приближение Е⁽⁰⁾ строится с помощью случайно выбранных первых k точек исследуе­мой совокупности, т. е.

.

Затем на 1-м шаге «извлекается» точка X_k+1, и выясняется, к какому из эталонов она оказалась ближе всего. Именно этот, самый близкий кX_k+1 эталон заменяется эталоном, определяемым как центр тяжести старого эталона и присоединенной к нему точки X_k+1 (с увеличением на единицу соответствующего ему веса), а все другие эталоны остаются неизменными (с прежними весами) и т. д. Таким образом, пересчет эта­лонов и весов на v-м шаге, т. е. при извлечении очередной точки X_k+v происходит по следующему правилу:

При этом если обнаруживается несколько (по i) одинаковых мини­мальных значений, то можно условиться относить точку X_k+v к эталону с минимальным порядковым номером.

При достаточно большом числе итераций, или при достаточно боль­ших объемах классифицируемых совокупностей п и при весьма широких ограничениях на природу исследуемых наблюдений, дальнейший пересчет эталонных точек практически не приводит к их изменению, т.е. имеет место сходимость (в определенном смысле) E^(v) к некоторому пределу при v→∞.

Если же в какой-то конкретной задаче исследователь не успел доб­раться до стадии практически устойчивых (по v) значений эталонных точек, то пользуются одним из двух вспомогательных приемов. Либо «зацикливают» алгоритм, «прогоняя» его после рассматривания последней точки X_n=X_k+(n-k) снова через точку X₁ затем Х₂, и т. д., либо производят многократное повторение алгоритма, используя в ка­честве начального эталона E⁽⁰⁾ различные комбинации из k точек ис­следуемой совокупности и выбирая для дальнейшего наиболее повто­ряющийся (в некотором смысле) финальный эталон E^(n-k)

Окончательное разбиение S исследуемой совокупности многомерных наблюдений на k классов производится в соответствии с правилом опи­санного выше минимального дистанционного разбиения S(E) отно­сительно центров тяжести (эталонов) Е = Е^(n-k), которое, кстати, яв­ляется частным случаем разбиений ранее описанной общей схемы эта­лонных алгоритмов, получающихся при

Если оказывается, что ρ (X, E_l) = ρ (X, Е_j), то точку X относят к то­му из классов S_i и S_j, который обладает меньшим порядковым номером.

Свойства алгоритма Б_2а1. Для описания интересных свойств метода k-средних введем, следуя [33] и [56], некоторые понятия и опреде­ления.

Условимся интерпретировать исходное множество наблюдений Х₁, X₂,…X_n как случайную выборку из п независимых наблюдений, извлеченную из генеральной совокупности, описываемой некоторой (неизвестной нам) вероятностной мерой, определенной в рассматривае­мом ρ-мерном факторном пространстве X исследуемых признаков. Под­робнее о смысле меры Р см. на стр. 14. При этом будем предполагать, что мера Р сосредоточена на замкнутом, ограниченном, выпуклом мно­жестве X, т. е. , причем для каждого открытого множе­ства .

Пусть S = {S₁,…,S_k} — некоторое разбиение пространства X на k непересекающихся множеств S₁,…,S_k, так что теоретико-множест­венная сумма (объединение) всех этих множеств дает X.

Под k—средним =(…), порожденнымразбиением S = {S₁,…,S_k} будем понимать набор векторов

i=1,2,…,k

каждый из которых является условным средним (центром тяжести) наблюдений своего класса, т.е.

=(3.30)

В покомпонентной записи формула (3.30) имеет вид

=

Здесь S_il — проекция ρ-мерного множества S_i на ось X^(l), а P_l(dX^(l)) - вероятностная мера на прямой, задающая частное распределение ком­поненты X(l) в соответствии с законом P(dX), т. е.

Под

будем подразумевать разбиение, полученное в соответствии с общей схемой эталонных алгоритмов на основании эталонов Е = {E₁,E₂,…,E_k} и функции φ(X,E_l)=ρ(X,E_l).

Группа эталонных точек Е = {E₁,E₂,…,E_k} называется несмещен­ной k-точкой, если

,

т. е. если центры тяжести классов, построенных с помощью эталонных точек Е = {E₁,E₂,…,E_k}, совпадают с самими эталонными точками. В тех случаях, когда это не вызовет путаницы, будем для упроще­ния записи обозначать

Введем в рассмотрение следующие характеристики внутриклассового рассеяния, соответствующие разбиению S(E):

Описанный выше метод k-средних при довольно широких пред­положениях относительно вероятностной меры Р обладает следую­щими свойствами¹:

— свойство несмещенности метода k-средних. Оказывается, что применительно к методу k-средних имеет место следующий аналог закона больших чисел.

с вероятностью единица.

Здесь —эталоны на v-м шаге алгоритма, — условные средние классов , получен­ных с помощью минимального дистанционного разбиения относительно эталонов , a — вероятностная мера соот­ветствующих классов;

— свойство стационарности функционала качества разбиения. Последовательность случайных ве­личин сходится почти всюду и равен (с ве­роятностью единица) Q₁(E) для некоторого разбиенияS(E), для ко­торого является несме­щенной k-точкой.

Указанное свойства алгоритма Б_2а1 означает, что разбиение, за­даваемое этим алгоритмом, с ростом объема n исследуемой выборки стремится к некоторому несмещенному разбиению, на котором значение функционала совпадает со значением функционала

.

Очевидно, что для любых Е. Кроме того, как указыва­лось выше (см. стр. 93), минимальное значение функционала до­стигается на несмещенных разбиениях. Все это позволяет надеяться, что в достаточно общих ситуациях при больших объемах выборочных совокупностей алгоритм Б_2а1 строит разбиение, близкое к наилучшему в смысле функционала , а следовательно, и в смысле функционала.

Возможны случаи, когда в результате действия алгоритма Б_2а1 при неограниченном увеличении объема выборочной совокупности будут получаться разбиения, на которых значение функционала не минимально, а максимально. Рассмотрим следующий пример. Допус­тим, что исследуемая выборка является выборкой из генеральной сово­купности, распределение которой сосредоточено в вершинах прямо­угольника, одна сторона которого несколько больше другой, и зададим­ся целью разбить исследуемое пространство на два класса. Перенуме­руем точки генеральной совокупности, в которых сосредоточено рас­пределение, так как это показано на рис. 3.5. Пусть вероятности появ­ления каждой из точек 1, 2, 3, 4 одинаковы. Предположим, что при случайном извлечении наблюдений из генеральной совокупности первые

четыре точки извлечены последовательно из вершин с номерами соот­ветственно 1,2,3, 4. Тогда, если стороны a и b прямоугольника удовлетворяют неравенствам , то, как легко видеть, в результа­те действия алгоритма Б_2а1 после обработки первых четырех точек эта­лонные точки будут лежать одна против другой на серединах длинных сторон прямоугольника. Нетрудно показать, что в какой бы последовательности ни появились затем выборочные точки (из вершин 1, 2, 3 и 4), эталонные точки

бу­дут двигаться по соответствующим длинным сторонам прямоугольника до тех пор, пока они не подойдут слишком близко к вершинам этого пря­моугольника. Из усиленного закона больших чисел следует, что с по­ложительной вероятностью этого не произойдет. Другими словами, с положительной вероятностью алгоритм Б_2а1 отнесет точки 1,3 к од­ному классу, а точки 2, 4 — к другому классу. А при этом разбиении значение функционала максимально.

И, наконец, приведем пример ситуаций, в которых может произой­ти определенного рода «зацикливание» алгоритма Б_2а1. Рассмотрим двумерную генеральную совокупность, распределение которой сов­падает с равномерным распределением на круге. Пусть — выборка из этой генеральной совокупности. Мы хотим с помощью ал­горитма Б_2а1, используя выборку , разбить совокупность на два класса. Нетрудно видеть, что в этом случае множество несмещенных точек совпадает с семейством точек , лежащих друг против друга на диаметре круга на одинаковом фиксированном расстоянии от центра круга, и значение функционала для всех этих точек одно и то же. Кроме того, в этом случае можно показать, что с вероятностью 1

Здесь — среднее i-й части минимального дистанционного раз­биения.

Этот пример показывает, что указанные выше свойства алгоритма Б_2а1, не исключают возможность того, что мы, строя последовательно эталонные точки, будем бесконечное число раз обходить окружность, на которой расположены несмещенные точки.

Прежде чем переходить к описанию следующих последовательных алгоритмов, заметим, что алгоритм Б_2а1 близок к параллельному ал­горитму типа Дидея, а именно, к алгоритму примера 1 стр. 108. Разни­ца этих двух алгоритмов состоит лишь в том, что в алгоритме Б_2а1 на v-м шаге эталонные точки выбираются с помощью k + v первых рас­смотренных точек выборки, а в алгоритме примера 1 на v-м шаге эта­лонные точки выбираются с использованием всех точек выборки

б) Алгоритм Б_2σ1. Алгоритм Б_2a1 может быть обобщен на случай решения задач, для которых заранее число классов неизвестно.

Для этого следует задаться двумя константами Φ₀,Ψ₀, названными в [54] соответственно мерой грубости и мерой точности. Работа алгоритма Б_2σ1 также состоит в последовательном построении эталонных точек и весов, но число классов k(v) может меняться при этом от итерации к итерации.

На нулевом шаге итерации берется любое начальное k(0) и по­лагается

.

Затем производится процедура «огрубления» эталонных точек. А имен­но, подсчитывается расстояние между двумя ближайшими эталонными точками и сравнивается это расстояние с заданной мерой грубости Φ₀. Если это минимальное расстояние меньше Φ₀, то соответствующая пара эталонных точек заменяется их взвешенным средним с весом, рав­ным сумме соответствующих двух весов. Процедура огрубления за­канчивается тогда, когда расстояние между любыми двумя эталонными точками не меньше чем Φ₀. Пусть в результате процедуры огрубления мы имеем число эталонных точек , эталонные точкии веса.

На первом шаге итерации извлекается точка и вычисляет­ся расстояние отдо ближайшей к ней эталонной точки. При этом если это расстояние больше Ψ0, тообъявляется новой эталонной точкойс весом, а все остальные эталонные точки и соответствующие им веса остаются неизменными.

Если это минимальное расстояние меньше чем Ψ₀, то самый близкий к эталон заменяется эталоном, определяемым как центр тя­жести старого эталона и присоединенной к нему точки. Вес точкисчитается равным 1. Вес этого нового эталона равен сумме весов объединяемых точек (старого эталона и точки).

Все остальные эталоны и соответствующие веса остаются неиз­менными. Таким образом, пересчет эталонов и весов в этом случае происходит точно так же, как и в алгоритме Б_2а1.

После процедуры огрубления эталонных точек переходят ко 2-му шагу итерации и так далее.

Выбирая различные константы Φ₀, Ψ₀, мы будем с помощью алго­ритма Б_2σ1 получать различные разбиения. Выбор величин Φ₀ и Ψ₀ можно считать удачным, если разбиение, соответствующее этим вели­чинам, признается оптимальным или с точки зрения экспертов, или в смысле принятых функционалов качества разбиения.

в) Алгоритм Б_2a2 [7]. В этом алгоритме для задачи разделения совокупности на два класса на каждом шаге итерации строятся разде­ляющие гиперповерхности произвольного вида, а не только гиперпло­скости, как это делается в алгоритмах Б_2a1, Б_2σ1, Опишем работу этого алгоритма. Пусть на элементах факторного пространства X задана по­тенциальная функция специального вида, а именно:

где — некоторый набор известных функций от p переменных.

В процессе работы алгоритма последовательно по точкам выборочной совокупности производится построение двух функцийи двух чиселопределяющих v-e прибли­жение разделяющей поверхностив форме

Если на (v+1)-ом шаге алгоритма , то считается что, в противном случае. Пусть к (v+1)-му в процессе работы алгоритма v1 точек избыли отнесены ки- были отнесены. На (v+l)-м шаге алгоритма построениепроиз­водится следующим образом:

(3.31)

Начальные значения величин, входящих в рекуррентные соотношения (3.31), определяются по точкам Х1, Х2, а именно:

В качестве последовательности выбирается некоторая убываю­щая последовательность положительных чисел. Обычно берут .

В спрямляющем пространстве z[(cm. стр. 94) этот алгоритм последо­вательно строит гиперповерхности вида

Рекуррентные соотношения (3.31) в спрямляющем пространстве Z име­ют вид:

Здесь, как и раньше число элементов, отнесенных к классуS₁, v₂=v-v_1.

Начальные значения определяются по точкам Z₁,Z₂.

Если K(X,Y)=(X,Y) является скалярным произведением векторовXиY, то спрямляющее пространствоZсовпадает с пространствомX. Тогда алгоритм Б_2а2 на каждом шаге разбивает совокупностьXна два класса гиперплоскостями. Только в начальный момент это разбиение является минимальным дистанционным разбиением, т.е. совпадает с разбиением, задаваемым алгоритмом Б_2а1.

Свойства алгоритма Б_2а2.Пусть плотность распределенияf(X) – дифференцируемая функция, обращающаяся в нуль вне некоторого ограниченного множества. За функционал качества возьмем(3.14).

Пусть последовательность γ_v, участвующая в работе алгоритма Б_2а2, удовлетворяет следующим пяти условиям:

1). Последовательность γ_v монотонно не возрастает;

2). Ряд расходится;

3). Существуют два таких числа a>0 и λ>0 и такой номерn₀, что

и ряд сходится;

4). Для любого числа β>0 найдется такое L₁(β), что как толькоv₁/v₂> β, то

;

5). Для любого L₂>0 найдутсяN(L₂) иﻼ(L₂)>0, такие, что

Этим условиям удовлетворяет, например, последовательность

В работе [7] применительно к спрямляющему пространству Z по­казано, что с вероятностью 1 разбиение, задаваемое алгоритмом Б_2а2, при неограниченном увеличении объема выборочной совокупности приближается к классу разбиений, среди которых находятся оптималь­ные, в смысле (см. стр. 95)¹.

В заключение отметим экспериментально установленный факт: в довольно общих ситуациях алгоритмы Б_2а1, Б_2а2 дают при больших объемах исследуемых совокупностей устойчивые и близкие к оптималь­ным (в смысле соответствующих функционалов) разбиении, хотя упо­мянутые выше теоретические свойства алгоритмов и не гарантируют нам этого.