Методички / LR-2
.pdf
пространства, проходящего двумя экстремальными векторами исходного набора данных.
2.3 Алгоритм обучения карт Кохонена SOM
Рассмотрим подробно алгоритм обучения самоорганизующихся карт Кохонена SOM.
Каждый нейрон КК представляет собой n-мерный вектор-столбец весовых коэффициентов:
w w1, w2 , |
T |
|
|
, wn |
, |
(1) |
где n определяется размерностью исходного пространства. При реализации КК заранее задается конфигурация сетки: одномерная или двумерная топология, количество нейронов. Перед началом обучения КК необходимо проинициализировать весовые коэффициенты нейронов.
Обучение состоит из последовательной коррекции векторов, представляющих собой нейроны следующим образом:
1. |
Случайным образом выбирается |
один из векторов обучающей |
выборки |
x и подаётся на вход карты Кохонена; |
|
2. |
Определяется нейрон-победитель |
wc , который наиболее похож на |
вектор входов. Под похожестью понимается расстояние между векторами в евклидовом пространстве;
3. Производится корректировка весов КК по формуле: |
|
wi t 1 wi t hci t x t wi t , |
(2) |
где t – номер эпохи. Функция h t называется функцией соседства нейронов,
которую можно разделить на функцию расстояния и функцию скорости обучения. Функция соседства определяется как:
h t h rc ri ,t t , |
(3) |
где r определяет положение нейрона в сетке,
расстояния, |
t |
– радиус обучения, d rc |
нейроном победителем и i-тым нейроном, |
t |
|
|
|
|
d |
2 |
|
||
|
|
|
|
|
|
|
||
h d,t e |
2 |
2 |
t |
|
||||
|
– функция |
|||||||
|
|
|
||||||
|
|
|
|
|||||
ri |
– расстояние между |
|||||||
|
A |
– функция скорости |
||||||
t B |
||||||||
|
|
|
|
|
|
|
||
обучения, A и В – константы скорости. На первоначальном этапе выбираются достаточно большие значения скорости обучения A, В и радиуса обученияt , что позволяет расположить вектора нейронов в соответствии с
распределением примеров в обучающей выборке, а затем производится точная подстройка весов, когда значения параметров скорости обучения много меньше начальных. Осуществляется возврат к этапу 1, пока t не достигнет заданной величины.
2.4 Алгоритм обучения карт Кохонена PLSOM
Развитием метода обучения SOM является метод PLSOM (ParameterLess SOM). Идея метода PLSOM заключается в том, что скорость и радиус обучения должны изменять свое значение не в зависимости от номера цикла обучения, а в зависимости от того, насколько хорошо КК описывает
пространство входных векторов. В качестве меры, определяющей, насколько хорошо КК описывает пространство входных векторов, используется функция:
|
t |
x t w |
t |
|
|
|
c |
|
, |
(4) |
|
|
p t |
|
|||
где p t max x t wc t , p t 1 , а |
|
|
|
|
|
p 0 |
x 0 wc 0 . Значение данной функции |
||||
характеризует, насколько большая коррекция требуются весам нейрона победителя на шаге t по сравнению с предыдущим шагом обучения t-1. При большом значении t требуется большая реорганизация КК (коррекция весов большого количества нейронов карты), а малое значение t говорит о том, что КК достаточно хорошо описывает пространство входных векторов.
Алгоритм PLSOM использует при обучении предопределенный радиус
обучения t , то есть t const t . Таким образом, |
функция расстояния для |
||||||
i-го нейрона КК определяется следующим образом: |
|
|
|
||||
|
|
|
d i, c |
|
|
||
|
|
d,t exp |
|
2 |
|
|
|
|
hi |
|
|
|
, |
(5) |
|
|
|
2 |
|
||||
где t t t , при |
t min , |
|
|
t |
|
|
|
min - минимальный радиус |
обучения |
||||||
(обычно равный 1). Коррекции весов при алгоритме обучения PLSOM |
|||||||
происходит в следующем порядке: |
|
|
|
|
|
|
|
|
wi t 1 wi t t hi t x t wi t . |
(6) |
|||||
Как видно из выражения (6), вместо параметра скорости обучения t |
|||||||
алгоритм обучения PLSOM использует параметр t .
Анализ алгоритма PLSOM показывает, что работа данного алгоритма аналогична работе алгоритма обучения нейронных сетей, реализующего метод сопряженных градиентов Флетчера-Ривса. Общим в работе этих алгоритмов является то, что для нахождения нового направления поиска (в методе сопряженных градиентов) или определения окрестности обучения (в алгоритме PLSOM) вычисляется функция от t, являющаяся отношением искомого параметра (направление поиска или размер окрестности обучения) на данной итерации к искомому параметру на предыдущей итерации. Анализ работ по использованию метода сопряженных градиентов Флетчера-Ривса для обучения искусственных нейронных сетей показал, что выбор тактики обучения с учетом предыдущих итераций обучения позволяет проводить обучение более эффективно и качественно, чем при методах, не учитывающих предыдущие итерации. Таким образом, можно предположить, что алгоритм обучения КК PLSOM окажется эффективнее стандартного алгоритма SOM.
2.5 Классификация данных при помощи карты Кохонена
После обучения карты Кохонена её можно использовать в качестве классификатора. Для классификации объекта (вектора его параметров) x необходимо подать его на вход карты Кохонена и определить нейронпобедитель. Номер нейрона-победителя будет идентифицировать класс, к которому отнесён данный объект.
Преимущество карты Кохонена перед классическими алгоритмами кластерного анализа состоит в отсутствии необходимости проведения длительной процедуры кластеризации каждый раз при поступлении новых сигналов, что приводит к более высокому быстродействию.
2.5 Иерархические методы кластерного анализа
Суть иерархической кластеризации состоит в последовательном объединении меньших кластеров в большие или разделении больших кластеров на меньшие.
Все иерархические методы кластерного анализа делятся на две группы
– агломеративные и дивизимные.
Агломеративные методы характеризуются последовательным объединением исходных элементов и соответствующим уменьшением числа кластеров. В начале работы алгоритма все объекты являются отдельными кластерами. На первом шаге наиболее похожие объекты объединяются в кластер. На последующих шагах объединение продолжается до тех пор, пока все объекты не будут составлять один кластер.
Алгоритм иерархического агломеративного кластерного анализа можно представить в виде последовательности процедур:
1.Нормировка значений исходных переменных.
2.Расчет матрицы сходства.
3.Нахождение пары самых близких кластеров.
4.Объединение этих кластеров по выбранному алгоритму. Новому кластеру присваивается меньший из номеров объединяемых кластеров.
Процедуры 2, 3, 4 повторяются до тех пор, пока все объекты не будут объединены в один кластер или до достижения заданного «порога» сходства.
Дивизимные методы являются логической противоположностью агломеративным методам. В начале работы алгоритма все объекты принадлежат одному кластеру, который на последующих шагах делится на меньшие кластеры, в результате образуется последовательность расщепляющих групп.
Принцип работы описанных выше групп методов в виде дендрограммы показан на рисунке 2.
Рисунок 2 - Дендрограмма агломеративных и дивизимных методов
Иерархические методы кластеризации различаются правилами построения кластеров. В качестве правил выступают критерии, которые используются при решении вопроса о «схожести» объектов при их объединении в группу (агломеративные методы) либо разделения на группы (дивизимные методы).
Иерархические методы кластерного анализа используются при небольших объемах наборов данных. Преимуществом иерархических методов кластеризации является их наглядность. Иерархические алгоритмы связаны с построением дендрограмм (от греческого dendron – «дерево»), которые являются результатом иерархического кластерного анализа. Дендрограмма описывает близость отдельных точек и кластеров друг к другу, представляет в графическом виде последовательность объединения (разделения) кластеров.
Дендрограмма (dendrogram) – древовидная диаграмма, содержащая n уровней, каждый из которых соответствует одному из шагов процесса последовательного укрупнения кластеров. Дендрограмму также называют древовидной схемой, деревом объединения кластеров, деревом иерархической структуры. Дендрограмма представляет собой вложенную группировку объектов, которая изменяется на различных уровнях иерархии.
Существует много способов построения дендограмм. В дендограмме объекты могут располагаться вертикально или горизонтально. Пример вертикальной дендрограммы приведен на рисунке 3.
Рисунок 3 – Пример дендрограммы
Числа 11, 10, 3 и т.д. соответствуют номерам объектов или наблюдений исходной выборки. Мы видим, что на первом шаге каждое наблюдение представляет один кластер (вертикальная линия), на втором шаге наблюдаем объединение таких наблюдений: 11 и 10; 3, 4 и 5; 8 и 9; 2 и 6. На втором шаге продолжается объединение в кластеры: наблюдения 11, 10, 3, 4, 5 и 7, 8, 9. Данный процесс продолжается до тех пор, пока все наблюдения не объединятся в один кластер.
Для вычисления расстояния между объектами используются различные меры сходства (меры подобия), называемые также метриками или функциями расстояний.
Когда каждый объект представляет собой отдельный кластер, расстояния между этими объектами определяются выбранной мерой. Возникает следующий вопрос – как определить расстояния между кластерами? Существуют различные правила, называемые методами объединения или связи для двух кластеров
3. Индивидуальные варианты практикума
№ варианта |
Метод объединения |
Метрика |
|
1 |
Уорда |
Евклидово расстояние |
|
2 |
Уорда |
Квадрат |
евклидова |
|
|
расстояния |
|
3 |
Уорда |
Линейное расстояние |
|
4 |
Ближнего соседа |
Евклидово расстояние |
|
5 |
Ближнего соседа |
Квадрат |
евклидова |
|
|
расстояния |
|
6 |
Ближнего соседа |
Линейное расстояние |
|
7 |
Медиан |
Евклидово расстояние |
|
8 |
Медиан |
Квадрат |
евклидова |
|
|
расстояния |
|
9 |
Медиан |
Линейное расстояние |
|
10 |
Центроидный |
Евклидово расстояние |
|
11 |
Центроидный |
Квадрат |
евклидова |
|
|
расстояния |
|
12 |
Центроидный |
Линейное расстояние |
|
Рекомендованная литература
1. Хайкин С. Нейронные сети: полный курс, 2-е изд.: пер. с англ. – М.: Издательский дом «Вильямс», 2006. – 1104.
Контрольные вопросы:
1.Для чего используется кластеризация данных в СИИ? Какие методы кластеризации данных вы знаете?
2.Карта Кохонена: назначение, структура, методика построения.
3.Преимущества и недостатки алгоритма обучения КК SOM.
4.Преимущества и недостатки алгоритма обучения КК PLSOM.
5.К какой группе иерархических алгоритмов относится исследованный вами алгоритм? В чем его суть?