Пример 5.1. Кластерный анализ. Евклидово расстояние.
Ближайший сосед
Требуется разделить шесть объектов на два кластера. Объекты –
информационные системы характеризуются двумя признаками:
Х1-среднее время решения одной задачи в минутах;
Х2-количество задач, в решении которых было отказано ввиду перегрузки информационной системы.
Значения признаков Х1 и Х2 для шести вариантов информационной системы представлены в таблице 5.1.1.
Таблица 5.1.1
|
№ Код |
1 |
2 |
3 |
4 |
5 |
6 |
|
X1 |
2 |
4 |
5 |
12 |
14 |
15 |
|
X2 |
8 |
10 |
7 |
6 |
6 |
4 |
Ввиду того, что размерность признаков сравнительно ненамного отличается друг от друга, то стандартизацию признаков можно не проводить. Если же принято решение о стандартизации, то можно использовать следующий метод.
Берём минимальное значение первого признака Х11=2.
Берём максимальное значение первого признака Х16=15.
Вычислим новые значения первого признака по формуле: х1i=(Х1i-2)/(15-2).
Берём минимальное значение второго признака Х26=4.
Берём максимальное значение второго признака Х22=10.
Вычислим новые значения второго признака: х1i=(Х2i-4)/(10-4).
Результаты вычислений представим в таблице 5.1.1*.
Таблица 5.1.1*
|
№ Код |
1 |
2 |
3 |
4 |
5 |
6 |
|
X1 |
0 |
2/13 |
3/13 |
10/13 |
12/13 |
1 |
|
X2 |
2/3 |
1 |
1/2 |
1/3 |
1/3 |
0 |
Отметим, что оба признака в таблице 19.1* занимают диапазон от 0 до 1.
Второй способ заключается в таком перерасчёте признаков, чтобы оценки их математических ожиданий стали равными нулю, а оценки средних квадратических отклонений стали равными единице. Для этого используется следующая формула:
xij=(Xij-m1i*)/σi*.
Результаты вычислений приведены в таблице 5.1.1** .
Таблица 5.1.1**
|
№ Код |
1 |
2 |
3 |
4 |
5 |
6 |
|
X1 |
-1,18097 |
-0,826682 |
-0,649536 |
0,590 |
0,945 |
1,122 |
|
X2 |
0,572 |
1,551 |
0,082 |
-0,408248 |
-0,408248 |
-1,38804 |
По таблице 5.1.1 построен график, представленный на рис.5.1.1.
10 Х2
8
6
4
2
2 4 6 8 10 12 14 Х1
Рис. 5.1.1
По формуле (5.3) вычислены расстояния между объектами. Приведём два примера вычисления расстояний между 1 и 5 объектами и 2 и 6 объектами.
Процесс вычисления расстояния между 1 и 5 объектами поясняется на рис.5.1.2; между 2 и 6 объектами на рис.5.1.3.
10 Х2
8
6
4
2
2 4 6 8 10 12 14 Х1
Рис. 5.1.2
10 Х2
8
6
4 
2
2 4 6 8 10 12 14 Х1
Рис.5.1.3
Аналогично по формуле Евклида вычислены расстояния между всеми остальными объектами по двум признакам. Результаты вычислений представлены в виде таблицы 5.1.2
Таблица 5.1.2
|
|
1 |
2 |
3 |
4 |
5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
12,17 |
13,60 |
|
2 |
|
0 |
3,16 |
8,94 |
10,77 |
12,53 |
|
3 |
|
|
0 |
7,07 |
9,06 |
10,44 |
|
4 |
|
|
|
0 |
2,00 |
3,61 |
|
5 |
|
|
|
|
0 |
2,24 |
|
6 |
|
|
|
|
|
0 |
Жирным шрифтом в таблице 5.1.2 выделено наименьшее расстояние между четвёртым и пятым объектами. Их объединяем в один объект 4,5. Расстояния между этим укрупнённым и исходными объектами определены
по принципу «ближайшего соседа». На рис.5.1.4 поясним этот принцип для определения расстояния между 1 объектом и формируемой совокупностью,
состоящей из 4 и 5 объектов.
4
10,19
1
2,00
12,17
5
Рис. 19.4
Аналогично предыдущему определены расстояния других объектов с формируемой совокупностью, состоящей из 4 и 5 объектов, и составлена таблица расстояний , представленная в таблице 5.1.3.
Таблица 5.1.3
|
|
1 |
2 |
3 |
4,5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
13,60 |
|
2 |
|
0 |
3,16 |
8,94 |
12,53 |
|
3 |
|
|
0 |
7,07 |
10,44 |
|
4,5 |
|
|
|
0 |
2,24 |
|
6 |
|
|
|
|
0 |
Жирным шрифтом в таблице 5.1.3 выделено наименьшее расстояние между объектом 4,5 и шестым объектом. Их объединяем в один объект 4,5,6. Расстояния между этим укрупнённым и исходными объектами определены по правилу «ближайшего соседа» и приведены в таблице 5.1.4.
Таблица 5.1.4
|
|
1 |
2 |
3 |
4,5,6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
|
2 |
|
0 |
3,16 |
8,94 |
|
3 |
|
|
0 |
7,07 |
|
4,5,6 |
|
|
|
0 |
Жирным шрифтом в таблице 5.1.4 выделено наименьшее расстояние меж-ду первым и вторым объектами. Их объединяем в один объект 1,2. Расстояния между этим укрупнённым и другими объектами определены по правилу «ближайшего соседа» и представлены в таблице 5.1.5.
Таблица 5.1.5
|
|
1,2 |
3 |
4,5,6 |
|
1,2 |
0 |
3,16 |
8,94 |
|
3 |
|
0 |
7,07 |
|
4,5,6 |
|
|
0 |
Жирным шрифтом в таблице 5.1.5 выделено наименьшее расстояние между объединённым объектом 1,2 и третьим объектом. Их объединяем в один объект 1,2,3. Расстояния между укрупнёнными объектами опреде-лены по правилу «ближайшего соседа» и приведены в таблице 5.1.6.
Таблица 5.1.6
|
|
1,2,3 |
4,5,6 |
|
1,2,3 |
0 |
7,07 |
|
4,5,6 |
|
0 |
Таким образом процесс кластерного анализа закончен . Выделено два
кластера. Расстояние между кластерами равно 7,07. Дендрограмма резуль-татов кластерного анализа приведена на рис. 5.1.5.
Расстояние
8
7,07
6
4
2
1 2 3 4 5 6
Номера объектов
Рис.5.1.5
Представим результаты кластерного анализа в виде двух матриц: рассто-яний между объектами (таблица 5.1.7) и символов Кронекера (таблица 5.1.8).
Таблица 5.1.7
|
№ объектов |
1 |
2 |
3 |
4 |
5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
12,17 |
13,60 |
|
2 |
|
0 |
3,16 |
8,94 |
10,77 |
12,53 |
|
3 |
|
|
0 |
7,07 |
9,06 |
10,44 |
|
4 |
|
|
|
0 |
2,00 |
3,61 |
|
5 |
|
|
|
|
0 |
2,24 |
|
6 |
|
|
|
|
|
0 |
Таблица 5.1.8
|
№ объектов |
1 |
2 |
3 |
4 |
5 |
6 |
|
1 |
0 |
1,00 |
1,00 |
0,00 |
0,00 |
0,00 |
|
2 |
|
0 |
1,00 |
0,00 |
0,00 |
0,00 |
|
3 |
|
|
0 |
0,00 |
0,00 |
0,00 |
|
4 |
|
|
|
0 |
1,00 |
1,00 |
|
5 |
|
|
|
|
0 |
1,00 |
|
6 |
|
|
|
|
|
0 |
Подсчитаем сумму расстояний между объектами:
0+2,83+3,16+10,19+12,17+13,60+
0+ 0+ 3,16+ 8,94+10,77+12,53+
0+ 0+ 0+ 7,07+ 9,06+10,44+
0+ 0+ 0+ 0+ 2+ 3,61+
0+ 0+ 0+ 0+ 0+ 2,24 =111,77.
Среднее расстояние = 111,77/15=7,45.
Сумма расстояний между объектами, вошедшими в кластеры:
1∙2,83+1∙3,16+1∙3,16+1∙2,00+1∙3,61+1∙2,24=17,00.
Среднее расстояние между объектами в кластерах = 17,00/6=2,83.
Сумма расстояний между объектами, находящимися в разных кластерах:
(1-0)∙10,19+(1-0)∙12,17+(1-0)∙13,60+
+(1-0)∙8,94+(1-0)∙10,77+(1-0)∙12,53+
+(1-0)∙7,07+(1-0)∙9,06+ (1-0)∙10,44= 94,77.
Среднее расстояние между объектами, находящимися в разных кластерах
=94,77/9=10,53.
Таким образом, мы убедились, что условия постановки задачи (19.1) и
(19.2) выполнены, т.е. среднее расстояние между элементами в кластерах более, чем в два с половиной раза меньше чем среднее расстояние между объектами: 7,45/2,83=2,63; а расстояние между объектами, находящимися в различных кластерах почти в полтора раза превышает среднее расстояние между объектами =10,53/7,45.
Пример 5.2. Кластерный анализ. Евклидово расстояние. Наиболее удалённый сосед
Требуется разделить шесть объектов на два кластера. Объекты –
информационные системы характеризуются двумя признаками:
Х1-среднее время решения одной задачи в минутах;
Х2-количество задач, в решении которых было отказано ввиду перегрузки информационной системы.
Значения признаков Х1 и Х2 для шести объектов представлены в таблице 5.2.1.
Таблица 5.2.1
|
|
1 |
2 |
3 |
4 |
5 |
6 |
|
X1 |
2 |
4 |
5 |
12 |
14 |
15 |
|
X2 |
8 |
10 |
7 |
6 |
6 |
4 |
Вычислены расстояния между объектами по формуле Евклида по всем признакам, которые приведены в таблице 5.2.2.
Таблица 5.2.2
|
№ объектов |
1 |
2 |
3 |
4 |
5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
12,17 |
13,60 |
|
2 |
|
0 |
3,16 |
8,94 |
10,77 |
12,53 |
|
3 |
|
|
0 |
7,07 |
9,06 |
10,44 |
|
4 |
|
|
|
0 |
2,00 |
3,61 |
|
5 |
|
|
|
|
0 |
2,24 |
|
6 |
|
|
|
|
|
0 |
Жирным шрифтом в таблице 5.2.2 выделено наименьшее расстояние между четвёртым и пятым объектами. Их объединяем в один объект 4,5. Расстояния между этим укрупнённым и исходными объектами определены по принципу «наиболее удалённого соседа», применение которого для вычисления расстояния между 1 объектом и формируемым объектом, который состоит из 4 и 5 объектов поясняет рис.5.2.1 .
4
10,19
1
2,00
12,17
5
Рис.5.2.1
Аналогично определены расстояния между другими объектами и объек-том, состоящим из 4 и 5 объектов, и составлена таблица расстояний 5.2.3.
Таблица 5.2.3
|
|
1 |
2 |
3 |
4,5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
12,17 |
13,60 |
|
2 |
|
0 |
3,16 |
10,77 |
12,53 |
|
3 |
|
|
0 |
9,06 |
10,44 |
|
4,5 |
|
|
|
0 |
3,61 |
|
6 |
|
|
|
|
0 |
Жирным шрифтом в таблице 5.2.3 выделено наименьшее расстояние
между первым и вторым объектами. Их объединяем в один объект 1,2. Расстояния между этим укрупнённым и остальными объектами определены по правилу « наиболее удалённого соседа» и представлены в таблице 5.2.4.
Таблица 5.2.4
|
|
1,2 |
3 |
4,5 |
6 |
|
1,2 |
0 |
3,16 |
12,17 |
13,60 |
|
3 |
|
0 |
9,06 |
10,44 |
|
4,5 |
|
|
0 |
3,61 |
|
6 |
|
|
|
0 |
Жирным шрифтом в таблице 5.2.4 выделено наименьшее расстояние между объектом 1.2 и третьим объектом. Их объединяем в один объект 1,2,3.
Расстояния между этим укрупнённым и другими объектами определены по правилу «наиболее удалённого соседа» и приведены в таблице 5.2.5.
Таблица 5.2.5
|
|
1,2,3 |
4,5 |
6 |
|
1,2,3 |
0 |
12,17 |
13,60 |
|
4,5 |
|
0 |
3,61 |
|
6 |
|
|
0 |
Жирным шрифтом в таблице 5.2.5 выделено наименьшее расстояние между объединённым объектом 4,5 и шестым объектом. Их объединяем в
один объект 4,5.6. Расстояния между укрупнёнными объектами определены по правилу «наиболее удалённого соседа» и приведены в таблице 5.2.6.
Таблица 5.2.6
|
|
1,2,3 |
4,5,6 |
|
1,2,3 |
0 |
13.60 |
|
4,5,6 |
|
0 |
Таким образом процесс кластерного анализа закончен. Выделено два кластера. Расстояние между кластерами равно 13,6. Дендрограмма результа-тов кластерного анализа приведена на рис. 5.2.2.
14 Расстояние
12 13,60
. . .
. . .
. .
.
4
2
1 2 3 4
5 6
Номера объектов
Рис.5.2.2
Пример 5.3. Кластерный анализ. Евклидово расстояние. По среднему значению
Требуется разделить шесть объектов на два кластера. Объекты –
информационные системы характеризуются двумя признаками:
Х1-среднее время решения одной задачи в минутах;
Х2-количество задач, в решении которых было отказано ввиду перегрузки информационной системы.
Значения признаков Х1 и Х2 для шести объектов приведены в таблице 5.3.1.
Таблица 5.3.1
|
|
1 |
2 |
3 |
4 |
5 |
6 |
|
X1 |
2 |
4 |
5 |
12 |
14 |
15 |
|
X2 |
8 |
10 |
7 |
6 |
6 |
4 |
Вычислены расстояния между объектами по формуле Евклида по двум признакам, которые приведены в таблице 5.3.2.
Таблица 5.3.2
|
|
1 |
2 |
3 |
4 |
5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
10,19 |
12,17 |
13,60 |
|
2 |
|
0 |
3,16 |
8,94 |
10,77 |
12,53 |
|
3 |
|
|
0 |
7,07 |
9,06 |
10,44 |
|
4 |
|
|
|
0 |
2,00 |
3,61 |
|
5 |
|
|
|
|
0 |
2,24 |
|
6 |
|
|
|
|
|
0 |
Жирным шрифтом в таблице 19.16 выделено наименьшее расстояние
между четвёртым и пятым объектами. Их объединяем в один объект 4,5. Расстояния между этим укрупнённым и исходными объектами определены по принципу «среднего значения» и представлены в таблице 19.17. Вычисление среднего расстояния пояснено на рис.5.3.1
4
3,61
6 m=2,925
2,00
2,24
5
Рис.5.3.1
Таблица 19.17
|
|
1 |
2 |
3 |
4,5 |
6 |
|
1 |
0 |
2,83 |
3,16 |
11,18 |
13,60 |
|
2 |
|
0 |
3,16 |
9,855 |
12,53 |
|
3 |
|
|
0 |
8,065 |
10,44 |
|
4,5 |
|
|
|
0 |
2,925 |
|
6 |
|
|
|
|
0 |
Жирным шрифтом в таблице 19.17 выделено наименьшее расстояние
между первым и вторым объектами. Их объединяем в один объект 1,2. Расстояния между этим укрупнённым и остальными объектами определены по принципу « среднего значения» и представлены в таблице 19.18.
Таблица 19.18
|
|
1,2 |
3 |
4,5 |
6 |
|
1,2 |
0 |
3,16 |
10,5175 |
13,065 |
|
3 |
|
0 |
8,0650 |
10,44 |
|
4,5 |
|
|
0 |
2,925 |
|
6 |
|
|
|
0 |
Жирным шрифтом в таблице 18.19 выделено наименьшее расстояние между объектом 4,5 и шестым объектом. Их объединяем в один объект 4,5,6. Расстояния между этим укрупнённым и другими объектами определены по
правилу «среднего значения» и представлены в таблице 19.19.
Таблица 19.19
|
|
1,2 |
3 |
4,5,6 |
|
1,2 |
0 |
3,16 |
11,79125 |
|
3 |
|
0 |
9,25250 |
|
4,5.6 |
|
|
0 |
Жирным шрифтом в таблице 19.19 выделено наименьшее расстояние между объединённым объектом 1,2 и третьим объектом. Их объединяем в
один объект 1,2,3. Расстояния между укрупнёнными объектами определены по правилу «среднего значения» и представлены в таблице 19.20.
Таблица 19.20
|
|
1,2,3 |
4,5,6 |
|
1,2,3 |
0 |
10,521875 |
|
4,5,6 |
|
0 |
Таким образом процесс кластерного анализа закончен. Выделено два
кластера. Расстояние между выделенными кластерами равно 10,52. Дендрограмма результатов кластерного анализа представлена на рис. 19.9.
Расстояние
10
10,52
8
6
4
2
1 2 3 4 5 6
Номера объектов
Рис.19.9