2012

5. НЕЧЕТКАЯ КЛАСТЕРИЗАЦИЯ

Кластеризация – это объединение объектов в группы (кластеры) на основе схожести признаков для объектов одной группы и отличий между объектами из разных групп, что соответствует организации процесса обучения без учителя. Большинство алгоритмов кластеризации не опирается на традиционные для статистических методов допущения – они могут использоваться в условиях почти полного отсутствия информации о законах распределения данных. Кластеризацию проводят для объектов с количественными (числовыми), качественными или смешанными признаками. В разделе рассматриваются методы кластеризация для объектов с количественными признаками: алгоритмы четких и нечетких c-средних. В начале рассматриваются ключевые понятия четкой кластеризации алгоритмом c-средних, затем базовый нечеткий алгоритм c- средних.

5.1. Кластеризация с-средних

Четкий алгоритм с-средних. При кластеризации алгоритмом c-средних множество X разбивается на подмножества Ai ,i = 1,c со следующими свойствами:

Условие (5.1) указывает, что все объекты должны быть распределены по кластерам. При этом каждый объект должен принадлежать только одному кластеру (условие (5.2)) и ни один из кластеров не может быть пустым или содержать все объекты (условие (5.3)). Количество кластеров c {2,3,..., M − 1} задается до начала работы алгоритма. Задачу кластеризации удобно формулировать, используя характеристическую функцию. Характеристическая функция принимает значение 0, если элемент не принадлежит кластеру, и 1, если элемент принадлежит кластеру. С использованием характеристической функции кластеры описываются следующей матрицей разбиения:

31

Для оценки качества разбиения используется критерий разброса, показывающий сумму расстояний от объектов до центра своего кластера. Для евклидового пространства этот критерий вида:

|Ai| – количество объектов кластера Ai .

Кластеризацию объектов X можно сформулировать как следующую задачу оптимизации: найти матрицу U, минимизирующую значение критерия (5.6). Дискретный характер четкого разбиения обуславливает негладкость целевой функции, что усложняет нахождение оптимальной кластеризации.

Базовый алгоритм нечетких c–средних. Нечеткие кластеры опишем сле-

та X k = (xk1 , xk 2 ,..., xkn ) кластерам A1, A2,..., Ac.Единственным отличием матриц F и U является то, что при нечетком разбиении степень принадлежности объекта к кластеру принимает значения из интервала [0, 1], а при четком — из двухэлементного множества {0, 1}. Аналогичные (2.23)–(2.24) условия для матрицы нечеткого разбиения записываются выражением:

Нечеткое разбиение позволяет просто решить проблему объектов, расположенных на границе двух кластеров – им назначают одинаковые степени принадлежностей, например, по 0.5. Недостаток нечеткого разбиения проявляется при работе с объектами, удаленными от центров всех кластеров. Удаленные объекты имеют мало общего с любым из кластеров, поэтому интуитивно хочется назначить им малые степени принадлежности. Однако по условию (5.7) сумма степеней принадлежности равна единице как у удаленных, так и у близких к центрам кластеров объектов. Для устранения этого недостатка можно исполь-

32

зовать разбиение, при котором произвольный объект из X должен принадлежать хотя бы одному кластеру. Для этого ослабляют условие (5.7) следующим образом:

i : µki . > 0, k.

Для оценки качества нечеткого разбиения используется следующий критерий разброса:

k =1,M i

центры нечетких кластеров; m (1, ) – экспоненциальный вес.

Теория алгоритма. Наиболее известный и часто применяемый метод минимизации критерия (5.9) – алгоритм нечетких c–средних. Он базируется на методе неопределенных множителей Лагранжа. Алгоритм находит локальный оптимум, поэтому выполнение его из различных начальных точек может привести к разным результатам.

Алгоритм нечетких c–средних:

Шаг 1. Установить параметры алгоритма: с – количество класте-

ров; т – экспоненциальный вес; ε − параметр останова ал-

горитма.

Шаг 2. Случайным образом сгенерировать матрицу нечеткого раз-

биения F, удовлетворяющую условиям (5.7)–(5.8).

Шаг 3. Рассчитать центры кластеров по формуле:

Шаг 5. Пересчитать элементы матрицы нечеткого разбиения для

всех k = 1, M , и i = 1, c :

33

Пример описания исходных данных. Приводится пример тестовых дан-

ных для разрабатываемого алгоритма нечетких с-средних. Координаты на плоскости представляют точки образного рисунка «Бабочка»1. Координатные данные 2-мерного пространства признаков представлены следующей таблицей:

После выполнения нечеткой кластеризации данных должно произойти разбиение координат-объектов на два класса. Если алгоритм работает правильно, то результатом будет разделение на кластеры рисунка пополам − по семь объектов в каждом кластере. Восьмой объект в списке координат будет иметь принадлежность ½ к каждому из кластеров:

нечеткой кластеризации с-средних. Представляется блок одной итера-

ции.

Начало блока.

сторока Х)

1 Тест «Бабочка» – это специальным образом сформированные исходные координаты признаков для тестов алгоритмов кластеризации. По результату теста нечеткой кластеризации можно продемонстрировать более качественное разделение признаков по сравнению с четкой кластеризацией [7].

34

Проверить условие выхода δ < ε или выполнить следующую итерацию,

начиная с Шага 3.

Конец блока.

Перед написанием полной процедуры итераций можно прибегнуть к отладочному варианту на 3-х итерациях. Смысл его в следующем: сформировать программный модуль, где блок одной итерации повторя- ется не менее трех раз. Корректность работы 3-х итераций проверя- ется по факту уменьшения суммарного расстояний между колонками матриц F и Fn.Описание полной программы выполнения итераций алго- ритма с-средних, выполненной одной функцией FCL(), можно посмот- реть в Приложении 1.

Подготовка параметров функции FCL() алгоритма c-средних:

c := 2 m := 2 ε := 0.1 Iter := 100

MC := FCL(X, c , Iter, ε , m),

где MC − переменная возврата результата кластеризации, представляет собой 2-элементный вектор, присваиваемый поэлементно отдельным пе- ременным:

Fn := MC0 Матрица принадлежностей кластерам

V := MC1 Координаты центров

Функция использует следующие параметры: X – исходное координатное пространство объектов кластеризации; с − число кластеров; Iter −

максимальное число итераций для исключения зацикливания; ε − число точности приближения к центру; m − экспоненциальный вес (обычно m=2).

В качестве теста алгоритма их 3-х итераций можно провести рас- чет с данными кластеризации типа «Бабочка», приведенный в разделе описания исходных данных для двух кластеров (с=2). Результат не- четкой кластеризации должен соответствовать рис. 6. Кластеризация выполнена программой:

MC := FCL(X, c , Iter , ε , m),

Fn := MC0 Матрица принадлежностей кластерам

V := MC1 Координаты центров

36

Рис. 6. Данные типа «Бабочка» — центры кластеров на плоскости и в объеме; каждая из фигур характерно представляет симметричный рисунок «бабочки»; принадлежность точек к классу усиливается на периферии и ослабляется к центру

X1k, i := if (Fn 0 )k > (Fn 1 )k, Xk, i, 0

X2k, i := if (Fn 0 )k ≤ (Fn 1 )k, Xk, i, 0

Результат (рис. 6).

После успешного тестирования генерируем координатное простран-

ство из 100 объектов с двумя центрами

37

Рис. 7. Разделение объектов на два класса; координаты центров наблюдаются на плоскости; принадлежности к центрам

видны в объеме, как скопления точек в диапазоне [0,1] оси аппликат

Контрольные вопросы

1.Назовите преимущества матрицы нечеткого разбиения перед четкой характеристической функцией кластерного анализа.

2.Какие пункты алгоритма подтверждают, что в качестве исходных данных используются координаты евклидова конечномерного пространства?

3.Перечислите основные трудности выполнения рассматриваемого алгоритма для ЭВМ.

5.2. Нормы кластерного анализа

Теория. В базовом алгоритме нечетких c–средних расстояние между объектом X = (x1 , x2 ,..., xn )и центром кластера V = (v1 , v2 ,..., vn ) рассчитывается че-

рез стандартную евклидову норму: D2 = X − V 2 . В кластерном анализе приме-

няются и другие нормы, среди которых часто используется диагональная норма и норма Махаланобиса. В общем виде норму можно задать через симметричную положительно определенную матрицу В размером

где Т– операция транспонирования.

Для евклидовой нормы матрица В представляет единичную матрицу:

39

При евклидовой норме кластеры выделяются в виде гиперсфер. Для диагональной нормы матрица В задается следующим образом:

Элементы главной диагонали матрицы интерпретируются как веса координат. Диагональная норма позволяет выделить кластеры в виде гиперэллипсоидов, ориентированных вдоль координатных осей.

Для нормы Махаланобиса матрица В рассчитывается через ковариационную матрицу от X:

B = R −1 ,

где

R = 1 ∑( X k − X )( X k − X )T – ковариационная матрица;

M k =1,M

X = 1 ∑ X k – вектор средних значений данных.

M k =1,M

При норме Махаланобиса кластеры получаются в виде гиперэллипсоидов, оси которых могут быть ориентированы в произвольных направлениях.

Пример программы. В качестве примера используем норму Махалано-

биса. При изменении нормы расстояния центров кластеров производим модификацию программы с отдельными итерациями (или функцию FCL()), включая матрицу задания нормы B в формулу расстояния объект-центр

и добавляя матрицу задания нормы B в качестве нового параметра

FCL().

От предыдущего примера-теста алгоритма «Бабочка» приводимый алгоритм отличается только предварительным построением ковариаци- онной матрицы R. Также обратите внимание на способ центрирования координат относительно их среднего.

40