Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Многомерный статистический анализ в экономике. Учебное пособие
.pdf
объединения кластеров P и Q, определяется как расстояние от центра
Параметры
ближнего соседа
0,5
0,5
0
-0,5
дальнего соседа
0,5
0,5 0 0,5
медианной связи
0,5
0,5
-0,25
0
№ п/п
1 4 3
2 7 4
3 2 0 4 2
1
5 0 4
кластера до середины отрезка, соединяющего центры кластеров P и Q.
Наряду с приведенными формулами расстояние между
кластерами
и
(кластер, объединяющий кластеры и
можно вычислить по общей формуле:
=
+
,
,
в которой значения параметров
,
+
,
, , зависят от используемого
,
+
,
,
,
метода определения расстояний между кластерами (табл. 3.5).
Таблица 3.5
Параметры расстояния между кластерами в соответствии с методом
Метод
)
средней связи
центроидный
0 0
-
0
• Метод Варда (Уорда).
Рассмотрим пример. Пусть имеется пять магазинов небольшой
розничной сети, торгующей холодильниками и стиральными
машинами. Работа магазина характеризуется двумя признаками:
количество холодильников, проданных за неделю,
– количество
–
стиральных машин, проданных за неделю (табл. 3.6).
Таблица 3.6
Характеристики продаж сетевых магазинов
За метрику расстояний примем квадрат евклидова расстояния.
Тогда матрица расстояний будет иметь вид, представленный в табл. 3.7.
61
Таблица 3.7
1 2 3 4
5
1 0 10
13 8 17
2
10 0 41
34
49
3
13
41
0 1 20
4 8 34 1 0
13
5
17
49
20
13
0
1 2
34
5
1 0 10 8 17
2
10 0 34
49
34
8
34 0 13
5
17
49
13
0
1(34)
2
5
1(34)
0
10
13
2
10
0
49
5
13
49
0
Исходная матрица расстояний
Метод ближнего соседа. На первом шаге наименьшее
расстояние имеем между 3 и 4 объектами (
= 1), объединяем их в
один кластер 34 на уровне 1.
Расстояние между 1-м объектом и кластером 34 определяется
следующим образом: = 13;
следовательно,
Аналогично,
следовательно,
= 20;
()
= 13.
()
()
= 8.
= 41;
= 34.
= 13, выбираем наименьшее, следовательно,
= 8, выбираем наименьшее,
= 34, выбираем наименьшее,
Новая матрица расстояний имеет вид:
кластером 34. Объединяем их в один кластер на уровне 8 и
пересчитываем матрицу расстояний:
вид:
На втором шаге наименьшее расстояние между 1-м объектом и
= 10;
= 17;
()
= 41 ,следовательно,
= 13 ,следовательно,
((
(())
= 10.
)
)
= 13.
Матрица расстояний после второго шага принимает следующий
62
На этом этапе имеем кластер, в который вошли 1-й, 3-й и 4-й
(1(34))2
5
(1(34))2
0
13
5
13
0
магазины, и два отдельно стоящих магазина: 2-й и 5-й.
На третьем шаге наименьшее расстояние между 2-м объектом и
кластером 1(34), добавляем 2-й объект в кластер на уровне 10 и
пересчитываем матрицу расстояний:
На последнем шаге объединяем все объекты в один кластер на
уровне 13.
Поскольку данный метод объединяет кластеры, в которых
расстояние между ближайшими элементами минимально по
сравнению с другими кластерами, то два объекта попадают в один
кластер, если существует соединяющая их цепочка ближайших друг к
другу объектов (цепочечный эффект). Поэтому метод ближайшего
соседа называют методом одиночной связи. Для устранения
цепочечного эффекта задают некоторый уровень – предельное
расстояние. Тогда объект, который имеет минимальное расстояние с
одним из объектов кластера, включается в кластер, если его
расстояние до любого другого объекта кластера не больше заданного
уровня. Формирование первого кластера продолжают до тех пор, пока
нельзя будет найти объект, расстояние от которого до любого другого
объекта кластера не превзойдет заданного предельного уровня.
Формирование второго и последующих кластеров осуществляется из
оставшихся объектов аналогичным образом.
Метод дальнего соседа. Исходная матрица расстояний показана
в табл. 3.7.
На первом шаге наименьшее расстояние имеем между 3 и 4
объектами (
= 1), объединяем их в один кластер 34 на уровне 1.
Расстояние между 1-м объектом и кластером 34 определяется
следующим образом:
следовательно,
()
Аналогично,
следовательно,
= 20; = 13, выбираем наименьшее, следовательно,
()
= 13.
= 41;
= 41.
= 13;
= 8, выбираем наибольшее,
= 34, выбираем наибольшее,
()
= 20.
Таким образом, получаем новую матрицу расстояний:
63
1 2
34
5
1
0
10
13
17
2
10
0
41
49
34
13
41 0 20
5
17
49
20
0
На втором шаге наименьшее расстояние имеем между 1 и 2
12
34
5
12
0
41
49
34
41
0
20
5
49
20
0
12
(34)5
12
0
49
(34)5
49
0
объектами (
= 10), объединяем их в один кластер 12 на уровне
10. Пересчитываем матрицу расстояний (табл. 3.12):
= 13; = 8; = 41;
= 34, выбираем максимальное,
следовательно,расстояние между кластерами 12 и 34:
(
)()
= 17;
между кластером 12 и 5-м объектом:
= 41.
= 49, выбираем наибольшее, следовательно, расстояние
)
= 49.
(
Матрица расстояний после второго шага принимает вид:
На третьем шаге наименьшее расстояние имеем между 5-м объектом и
кластером 34, объединяем их на уровне 20. Пересчитываем матрицу
расстояний:
На четвертом шаге объединяем все объекты на уровне 49.
В этом методе объединяются кластеры, в которых минимально
расстояние между самыми далекими друг от друга объектами. Это
означает, что все остальные объекты в полученном после объединения
кластере связаны еще теснее, чем «соседи». Поэтому методом
дальнего соседа называют методом полной связи.
Метод средней связи. Исходная матрица расстояний
представлена в табл. 3.7.
На первом шаге наименьшее расстояние имеем между 3 и 4
объектами (
= 1), объединяем их в один кластер 34 на уровне 1.
Расстояние между 1-м объектом и кластером 34 определяется
следующим образом:
арифметическое:
()
=
= 13;
= 10,5.
= 8, вычисляем среднее
64
Аналогично, = 41;= 34, , следовательно,
1 2
34
5
1
0
10
10,5
17
2
10
0
37,5
49
34
10,5
37,5
0
16,5
5
17
49
16,5
0
12
34
5
12
0
24
33
34
24
0
16,5
5
33
16,5
0
12
(34)5
12
0
27
(34)5
27
0
()
=
=
37,5.
= 20;= 13, , следовательно,
()
=
16,5.
Новая матрица расстояний:
На втором шаге наименьшее расстояние имеем между 1 и 2
объектами (
= 10), объединяем их в один кластер 12 на уровне
10. Пересчитываем матрицу расстояний (табл. 3.15).
= 13; = 8; = 41;
= 34, находим среднее
арифметическое этих расстояний, следовательно, расстояние между
кластерами 12 и 34:
(
)()
=
= 24.
Матрица расстояний после второго шага:
= 17; = 49, следовательно, расстояние между кластером 12
и 5-м объектом:
объектом и кластером 34, объединяем их на уровне 16,5.
Пересчитываем матрицу расстояний (табл. 3.16):
(
)
=
= 33.
На третьем шаге наименьшее расстояние имеем между 5-м
(
)(()
=
)
6
+ + + + +
13 + 8 + 17 + 41 + 34 + 49
=
6
= 27.
Матрица расстояний после третьего шага:
На четвертом шаге объединяем все объекты на уровне 27.
65
Центроидный метод. Исходная матрица расстояний
1 2
34
5
1
0
10
10,25
17
2
10
0
37,25
49
34
10,25
37,25
0
16,25
5
17
49
16,25
0
представлена в табл. 3.7.
На первом шаге наименьшее расстояние имеем между 3 и 4
объектами (
= 1), объединяем их в один кластер 34 на уровне 1.
Расстояние между 1-м объектом и кластером 34 определяется
следующим образом:
• находим центр кластера 34:
= 2; = 2
= 0; = 1
(
)
(
)
= 2;
= 0,5.
• находим расстояние между 1-м объектом и центром
кластера 34:
(
)
=
(
)
+
(
)
(
=
4 2
)
(
+
3 0,5
)
= 10,25
Аналогично находим расстояние между кластером 34 и 2-м
объектом, 5-м объектом:
(
)
=
(
)
+
(
)
(
=
7 2
)
(
+
4 0,5
)
= 37,25
(
)
=
(
)
+
(
)
(
=
2 0
)
(
+
0,5 4
)
= 16,25
Полученная матрица расстояний имеет вид:
На втором шаге наименьшее расстояние имеем между 1 и 2
объектами (
= 10), объединяем их в один кластер 12 на уровне
10. Пересчитываем матрицу расстояний:
• находим центр кластера 12:
= 4; = 7
= 3; = 4
(
(
)
)
= 5,5;
= 3,5.
• находим расстояние между центрами кластеров 12 и
34:
(
)(
=
)
(
)
(
=
5,5 2
)
(
)
+
(
3,5 0,5
+
)
(
)
= 21,25;
(
66
)
• находим расстояние между центром кластера 12 и 5-м
12
34
5
12
0
21,25
30,5
34
21,25
0
16,25
5
30,5
16,25
0
12
(34)5
12
0
20,74
(34)5
20,74
0
объектом:
(
)
=
(
)
=
(
5,5 0
+
(
)
)
(
+
3,5 4
)
= 30,5.
Пересчитанная матрица расстояний:
На третьем шаге наименьшее расстояние имеем между 5-м
объектом и кластером 34, объединяем их на уровне 16,25.
Пересчитываем матрицу расстояний:
• находим центр кластера 345:
= 2; = 2; = 0
= 0; = 1; = 4
(
)
(
)
= 1,33;
= 1,67.
• находим расстояние между центрами кластеров 12 и
345:
(
)(
=
)
(
=
(
)
5,5 1,33
)
(
)
(
+
3,5 1,67
+
(
)
)
= 20,74.
(
)
Матрица расстояний после третьего шага:
заканчивают, как только будет сформировано разбиение с нужным
числом кластеров. При неизвестном числе кластеров правило
остановки связывают с понятием порога, т.е. некоторого расстояния
(в нашем примере
пять объектов в один кластер, а остальные три метода сформируют два
кластера: 1
На четвертом шаге объединяем все объекты на уровне 20,74.
Если число кластеров заранее известно, то классификацию
, определяемого условиями конкретной задачи.
Например, если
(1)
,
= 20,6), то метод ближнего соседа объединит все
2 и (34)5.
=
67
Предварительно оценить число кластеров также можно,
проследив динамику увеличения расстояний объединения по шагам
кластеризации. Необходимо определить шаг, на котором было
обнаружено резкое возрастание расстояния объединения.
Оптимальному числу классов соответствует разность между числом
объектов и порядковым номером шага, на котором было обнаружено
резкое возрастание расстояний.
Метод Уорда. Данный метод предполагает, что на первом шаге
каждый кластер состоит из одного объекта. Первоначально
объединяются два ближайших кластера. Для них определяются
средние значения каждого признака (центр нового кластера) и
рассчитывается сумма квадратов отклонений значений признаков от
центра:
=
,
где - номер кластера; - номер объекта; - номер признака; -
количество признаков, характеризующих каждый объект;
-
количество объектов в -м кластере.
В дальнейшем на каждом шаге работы алгоритма объединяются
те объекты или кластеры, которые дают наименьшее приращение
величины
.
Метод Уорда приводит к образованию кластеров
приблизительно равных размеров с минимальной внутрикластерной
вариацией. В итоге все объекты оказываются объединенными в один
кластер.
Исходная матрица расстояний представлена в табл. 3.7.
На первом шаге наименьшее расстояние имеем между 3 и 4
объектами (
Вычислим
(
)
[
(2 2)
)
= 1), объединяем их в один кластер 34.
. Для этого находим центр кластера 34:
= 2; = 2 = 2;
= 0; = 1 = 0,5.
=
+ (
+ (1 0,5)
(
)
(
)
]
= , .
+ (
)
=
[
(2 2)
(
)
+ (0 0,5)
)
+
]
+
Одним из недостатков метода является необходимость перебора
всех возможных вариантов включения новых объектов в кластер.
68
На втором шаге рассмотрим все возможные варианты
образования новых кластеров или присоединения к имеющемуся
кластеру 34 нового объекта.
1. Если объединить в один кластер объекты 1 и 2, то находим
центр кластера 12:
=
= 4; = 7
= 3; = 4
(
+
=
)
[
(4 5,5)
+ (
(
)
+ (3 3,5)
(
)
+ (
(
(
)
)
)
]+[
= 5,5;
= 3,5.
(
)
(7 5,5)
)
+ (4 3,5)
]
= 5
2. Если объединить в один кластер объекты 1 и 5, то находим
центр кластера 15:
=
= 4; = 0
= 3; = 4
(
+
=
+
)
[
[
(4 2)
(0 2)
+ (
(
)
+ (3 3,5)
+ (4 3,5)
(
(
)
= 2;
)
= 3,5.
)
)
(
+ (
]
]
= 8,5
(
)
)
3. Если объединить в один кластер объекты 2 и 5, то находим
центр кластера 25:
=
= 7; = 0
= 4; = 4
(
)
+
[
=
(7 3,5)+ (4 4)
[
+
(0 3,5)
+ (
(
)
(
+ (4 4)
= 3,5;
)
)
(
)
= 4.
(
+ (
]
]
= 24,5.
)
(
)
)
4. Если добавить в кластер 34 объект 1, то находим центр
кластера 134:
= 4; = 2; = 2
= 3; = 0; = 1
(
)
(
)
= 2,67;
= 1,33.
69
=
(
)
+
+
[
=
(4 2,67)
[
+
(2 2,67)
[
+
(2 2,67)
+ (
(
)
(
)
+ (3 1,33)
+ (0 1,33)
+ (1 1,33)
(
+ (
+ (
)
]
]
]
= 7,33.
)
(
)
(
)
)
)
5. Если добавить в кластер 34 объект 2, то находим центр
кластера 234:
= 7; = 2; = 2
= 4; = 0; = 1
=
(
)
+
+
=
+
+
[
(7 3,67)+ (4 1,67)
[
(2 3,67)
[
(2 3,67)
(
)
(
)
+ (0 1,67)
+ (1 1,67)
(
+ (
+ (
+ (
)
(
)
(
)
]
]
]
= 25,33.
= 3,67;
= 1,67.
)
(
)
(
)
)
)
6. Если добавить в кластер 34 объект 5, то находим центр
кластера 534:
= 0; = 2; = 2
= 4; = 0; = 1
=
(
)
+
+
[
=
(0 1,33)
[
+
(2 1,33)
[
+
(2 1,33)
(
)
(
)
+ (4 1,67)
+ (0 1,67)
+ (1 1,67)
+ (
(
)
(
)
(
+ (
+ (
)
Таким образом, наименьшее приращение
(
(
]
]
]
= 11,33.
= 1,33;
= 1,67.
)
)
)
= дает
)
)
объединение 1 и 2 объектов в новый кластер. После второго шага
имеем два кластера 34 и 12, а также отдельный объект 5.
На третьем шаге перебираем варианты объединения этих трех
элементов.
1. Если объединить кластеры 12 и 34, то
70
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]