Кластерный анализ

д еж н ость сред н их ха ра ктеристик и ра зл ичий м еж

д у

н им и, у ст а н а вл ива т ь

за кон ом ерн ост и и обосн ова н н о им и пол ь зова ть ся

в

а н а л итических и про-

зн а н ий –сод ерж а тел ь н о проин т ерпрет ирова т ь

резу л ь та ты ста тистического

а н а л иза .

В д а н н ом пособии пред прин ят ы у сил ия

по решен ию обеих за д а ча х.

ка ж д ом

кл а ст ере д ол ж н ы быт ь похож и д ру г н а

д ру га

в бол ь ш ей ст епен и,

чем н а

объект ы д ру гих кл а ссов, и отл ича т ь ся от объект ов д ру гих кл а ст еров

сил ь н ее, чем от объектов собствен н ого кл а сса .

К л а стерн ый а н а л из та кж е

н а зыва ют кл а ссиф ика цион н ым а н а л изом ил и числ ен н ой т а ксон ом ией.

В экон ом ике он испол ь зу ется д л я д остиж

ен ия

сл ед у ющ их цел ей: сег-

м ен т а ции рын ка , изу чен ия повед ен ия поку па тел ей,

опред ел ен ия кон ку рен -

тоспособн ост и н ового това ра , сокра щ ен ия ра зм ерн ости д а н н ыхи д р.

О бычн о в за д а ча х кл а ст ерн ого а н а л иза исход н ые д а н н ые пред ст а вл яют

в ф орм е прям оу гол ь н ой та бл ицы,

ка ж д а я строка

которой пред ста вл яет ре-

зу л ь т а т изм ерен ия p призн а ков н а соответству ющ ем объект е:

æ

L x

öx

x

11

ç

L x

1p ÷

x

12

X = ç

x

22

21

(2.1)

2 p ÷,

ç

M

÷ M L

M

ç

÷

ç

÷

è 1

2 L xnp øx n x n

гд е n–числ о объектов, под л еж а щ ихкл а ссиф ика ции.

Ч исл овые зн а чен ия призн а ков, вход ящ их в м а трицу , могу т

соответст-

вова ть

трем типа м перем ен н ых:

ка чествен н ым ,

ра н говым и

кол ичествен -

чен ий, кот орым , хотя и м ож

н о поста вить в соот вет ствие н екоторые числ а ,

н о эти числ а н е бу д у т отра ж

а ть ка ку ю-л ибо у поряд очен н ость зн а чен ий ка -

чествен н ых перем ен н ых. И это н у ж н о у читыва ть

при опред ел ен ии бл изо-

ст и. З н а чен ия ран говы х перем ен н ы х , в отл ичие от

ка чест вен н ых, у поряд о-

н екоторой ф у н кции r(xi , xk ), ха ра ктеризу ющ ей бл изость

i -го и

k -го объ-

ектов, л ибо по вел ичин е ра сстоян ия ρ(xi , xk )

м еж

д у

объекта м и,

им ея вви-

д у , что ка ж

д ый объект

м ож ет

быть

пред ст а вл ен

точкой p -м ерн ого про-

ст ра н ства .

Д л я

ф у н кции

схож ести

r(xi , xk )

д ол ж

н ы выпол н ять ся у сл овия

сим м етрии, т .е.

r(

,

) = r(

, x

i

),xи у xсл овиеx м а ксим а л ь н ого сход ства с

k

i

k

са м им собой r(

i

i ) =

r(

i , x,k )x. Д л maxя ρ(xi , xk )

эти у сл овия выпол н я-

ют ся а втом а т ически.

k

В ыборм еры сход ст ва явл яется од н им из у зл овых м ом ен тов в за д а ча х

кл а ссиф ика ции,

та к ка к от н ее,

в осн овн ом ,

за висит при д а н н ом а л горит м е

кл а ссиф ика ции окон ча тел ь н ый ва риа н т

ра збиен ия объектов

н а

кл а ссы. В

ка ж д ом кон кретн ом

сл у ча е этот

выбор осу щ ест вл яет ся

в за висим ост и от

цел и иссл ед ова н ия и природ ы са м их кл а ссиф ициру ем ых объектов. В са м ом

общ ем сл у ча е, когд а

м еж

д у пока за т ел ям и объектов су щ еству ет вза им освязь

и, кром е того, он и им еют ра зл ичн у ю степен ь

зн а чим ост и д л я провод им ой

кл а ссиф ика ции, испол ь зу ют обобщ ен н ое (взвеш ен н ое) расстоян и е М ахала-

н оби са

ρ

k

T

−1

i

T

−(2x.4)) x

x( x )( ,

i

ik− xk )Λx , Σ= Λ(

гд е Σ−1 –кова риа цион н а я м а трица

ген ера л ь н ой совоку пн ост и, из которой

извл ечен ы н а бл юд ен ия (объект ы, под л еж а щ ие кл а ссиф ика ции);

Λ –н екотора я сим м етрическа я

н еотрица тел ь н о-опред ел ен н а я м а трица

весовыхкоэф ф ициен тов (ка к пра вил о, это м а трица д иа гон а л ь н а я).

В о м н огих ситу а циях д л я опред ел ен ия сход ства

м еж

д у

объект а м и ис-

пол ь зу ют ся ча ст н ые сл у ча и ра сстоян ия М а ха л а н обиса . Т а к, при ед ин ичн ых

Λи Σ из(2.4) пол у ча ется обычн ое Евкли дово расстоян и е

ρ(x , x ) =

åp (x

− xkj )2.

ij

i

k

(2.5)

j =1

О пред ел ят ь похож ест ь по этом у

ра сстоян ию обычн о реком ен д у ет ся в тех

сл у ча ях, когд а :

1) н а бл юд ен ия

извл ечен ы

из ген ера л ь н ых совоку пн ост ей,

им еющ их

м н огом ерн ое н орм а л ь н ое ра спред ел ен ие с д иа гон а л ь н ой кова риа цион н ой

м а трицей, а все ком пон ен ты векторов н а бл юд ен ий xi , xk вза им н о н еза ви-

сим ы и им еют од н у и ту

ж е д исперсию;

2) все ком пон ен т ы векторов н а бл юд ен ий xi , xk

од ин а ково ва ж н ы д л я

кл а ссиф ика ции;

3) ин ту итивн ое пред ст а вл ен ие о

ст епен и

схож ести

м еж

д у

объекта м и

совпа д а ет с пон ят ием геом етрического ра сстоян ия м еж д у

н им и в призн а ко-

вом простра н стве.

В сл у ча е, когд а Σ явл яется ед ин ичн ой м а т рицей,

а Λ –д иа гон а л ь н ой,

сход ст во м еж

д у

объекта м и изм еряет ся вел ичин ой взвешен н ого Евкли дова

расстоян и я

ρ(x , x )=

p

(

− x w)

2.x

ij

j

i

(2.6)

å

kj

k

j =1

Э та м ера

схож

ести прим ен яется в т ех сл у ча ях, когд а

ка ж д ом у

призн а ку

xj

векторов

н а бл юд ен ий приписыва ется

н екоторый вес

wj , пропорцион а л ь -

н ый степен и ва ж

н ост и j -го призн а ка

в реша ем ой за д а че кл а ссиф ика ции.

p

О бычн о

0 ≤ wj ≤ 1 и å wj = 1.

О пред ел ен ие весовых коэф ф ициен т ов,

по

j=1

су ти, явл яется са м остоят ел ь н ой за д а чей, решен ие которой, ча щ е всего,

по-

ру ча ет ся эксперта м .

Е сл и все призн а ки изм ерен ы в н ом ин а л ь н ой шка л е и за д а ются д ихото-

м ическим и перем ен н ым и, т о степен ь

схож ест и

опред ел яет ся

с пом ощ ь ю

Хем м и н гово расстоян и я

p

ρ(x , x

) = å

x

− xkj

,

ij

i

k

(2.7)

ра вн ого числ у

н есовпа д ен ий.

j=1

В н екоторых сл у ча ях исход н а я ин ф орма ция обобъекта х,

под л еж а щ их

кл а ссиф ика ции,

за д а ет ся н е призн а ковым простра н ст вом , а ква д ра тн ой м а т-

рицей R = (rik ),

, =

, хаi раk ктеризу ющ ей вза им н ые ра сстоян ия м еж д у

, 1n

объект а м и. Т огд а отпа д а ет н еобход им ость

в испол ь зова н ии выш е ра ссмот-

рен н ыхра сстоян ий д л я опред ел ен ия меры сход ства м еж

д у объекта м и.

Н а ибол ее ра спростра н ен н ым и а л горитм а м и кл а стерн ого а н а л иза явл я-

ет ся иера рхические (д еревообра зн ые)

процед у ры. О н и быва ют д ву х типов:

а гл ом ера т ивн ые и д ивизим н ые.

В а гл ом ера тивн ых а л горитм а х н а ча л ь н ым

П рин ицип, который пол ож ен в осн ову

иера рхических а гл ом ера тивн ых

(д ивизим н ых) а л горит мов, за кл юча ется в

посл ед ова тел ь н ом объед ин ен ии

гом , строит ся связн ое дерево

кратчай ши х расстоян и й .

Ф орм а л ь н о про-

цед у ра построен ия та кого д ерева выгл яд ит сл ед у ющ им обра зом .

Н а н у л евом ша ге ф орм иру ются три вектор-строки по пра вил а м :

1-а я строка –это строка

из вза им н ых ра сстоян ий первого объекта

со

всем и оста л ь н ым и

ρ1 = ρ(x , x

), k =

;

(2.8)

k

1, n

k

1

2-а я ст рока –это строка , эл ем ен ты которой ра вн ы ра сст оян иям м еж

д у

вершин а м и д ерева и ра спол ож

ен н ые в т ой посл ед ова т ел ь н ости, в которой

вершин ы под соед ин ял ись к д ереву

(н а

н у л евом ша ге, когд а д ерево состоит

изод н ой вершин ы, ед ин ствен н ым эл ем ен т ом этой строки явл яет ся 0)

R1 = {0};

(2.9)

3-я строка –это строка из н ом еров вершин (объектов), ра спол ож ен н ых

в той посл ед ова т ел ь н ости, в

которой строил ось д ерево

кра тча йших ра с-

K1 = {}1 .

(2.10)

Н а i -ом ш а ге опред ел яется вершин а , бл иж

а йша я к ф ра гм ен т у у ж е по-

k = Arg min {ρki−1},

k =

.

(2.11)

1, n

ρkk¹0

Испол ь зу я н а йд ен н ый н ом ербл иж а йшей верш ин ы, ф орм иру ют ся три

вектор-ст роки по сл ед у ющ им пра вил а м :

1-а я строка ф орм иру ется из м ин им а л ь н ых ра сстоян ий пу тем сопоста в-

л ен ия теку щ ей строки ра сстоян ий построен н ого ф ра гм ен та

д ерева д о вер-

шин ,

н е вкл ючен н ых в

этот ф ра гм ен т, со строкой вза им н ых ра сст оян ий,

бл иж

а йшего к ф ра гм ен ту эл ем ен т а k

,k =

ρk =

ρk

ρ xk xk },

;,

min{ (2.12)

1(, n

2-а я строка попол н яет ся н ом ером объекта , бл иж

а йшего к построен н ом у

ф ра гм ен т у д ерева

i-1 k K;

i

=

K

(2.13)

3-я ст рока попол н яется

зн а чен ием

ра сстоян ия

от

построен н ого ф ра г-

м ен т а д ерева д о бл иж а йшей верш ин ы,

котора я н а i -ом

ша ге вкл юча ется в

соста в ф ра гм ен та д ерева

Ri

= Ri−1 ρk .

(2.14)

П роцесс прод ол ж а ется

д о пол н ого исчерпа н ия

всего м н ож

ества кл а с-

сиф ициру ем ыхобъектов.

П осл е построен ия

д ерева

вычисл яет ся

сред н ее зн а чен ие

ра сстоян ий

м еж д у его вершин а м и

1

n

ρ

=

å ρk ,

(2.15)

n −1 k =1

которое прин им а ется за пороговое.

В 3-ей строке ищ у тся м а ксим у м ы, т.е. т а кие ра сстоян ия, д л я которых

выпол н яет ся н ера вен ст во

ρ −1 < ρ

<kρk +1. k

(2.16)

В се н а йд ен н ые м а ксим а л ь н ые зн а чен ия сра вн ива ют ся с пороговым

.

ρ

Е сл и он и превосход ят и

пороговое, то прин им а ет ся решен ие обу д а л ен ии

соответству ющ его ребра

из построен н ого д ерева . О ст а вшиеся посл е этой

н ит ел ь н ый а н а л из ка чества

ра збиен ий, пол у ча ем ых с пом ощ ь ю ра зл ичн ых

способов. С эт ой цел ь ю ввод ят пон ят ие фун кци он ала Q(S ) качества раз-

би ен и я S , опред ел ен н ого н а м н ож естве всех возм ож н ых ра збиен ий. Т огд а

н а ил у чш им

ра збиен ием S

счита ется та кое,

при котором

д остига ется экс-

трем у м

та кого

ф у н кцион а л а . Ра ссм от рим

н а ибол ее ра спростра н ен н ые

ф у н кцион а л ы ка чества ра збиен ия.

ρ(xi , xk ) в

П у сть

д л я опред ел ен ия степен и сход ст ва

выбра н а м етрика

простра н стве X и

= ( 1

2 K,, Sm,)–Sн SекотороеS

ф иксирова н н ое ра збиен ие

объектов

1

2

K,, xn ,. xТ огдx а м ож н о за писа т ь

сл ед у ющ ие ф у н кцион а л ы ка -

чества ра збиен ия:

§

су м м а вн у трикл а ссовыхд исперсий

1(

)= åm

åρ 2 (

i , xk )x;

Q

S(2.17)

k =1xi Sk

§

су м м а

попа рн ых вн у трикл а ссовых ра сст оян ий м еж д у

эл ем ен т а м и

кл а ссов

2 (

) = åm

å ρ(

i , x j )x.

Q

S (2.18)

k =1

, Sxki

xj

Э ти крит ерии позвол яют в цел ом оцен ить

ка чество пол у чен н ого ва риа н т а

кл а ссиф ика ции и,

кром е того, с их пом ощ ь ю мож н о у точн ить

кл а ссиф ика -

цию по д ереву

кра тча йших ра сстоян ий, перера спред ел ив

м еж

д у кл а сса м и

вершин ы, присоед ин ен н ые к д ереву

посл ед н им и.

П ред -

x1

x2

x3

x4

x5

x6

x7

x8

приятие

1

5116652

1655737

4912417

619623

1240349

6391468

5820259

532581

2

1226241

1224983

1457028

93921

900275

5027062

3462529

499271

3

5851307

1460596

421161

395121

1295621

4489673

2291589

67368

4

86188

840198

93900

604792

227694

141282

122932

10

5

213652

289893

187876

138430

177239

474607

439172

8238

6

292249

410349

44432

14565

643601

684336

636529

-36067

7

107355

265899

132056

7656

233542

293423

302575

110

8

155221

797983

74255

860

878949

244337

249286

-133140

9

2852

69444

-27284

913

98667

173460

126278

-27697

10

292001

130363

129216

155051

138097

357466

312348

-5967

11

659633

1295344

132248

1650653

1172076

1671660

1626270

122137

12

170298

666081

616076

582

219721

1002735

807602

117997

П ред -

xн

xн

xн

xн

xн

xн

xн

xн

приятие

1

2

3

4

5

6

7

8

-1-

-2-

-3-

-4-

-5-

-6-

-7-

-8-

-9-

1

1

1

1

0,3752

0,9538

1

1

1

2

0,2092

0,7285

0,3005

0,0566

0,6697

0,7817

0,5862

0,9500