книги / Нейронные сети для обработки информации

центров нарастает лапинообразно, н процесс расчета очередных пиковых функций становится слишком длительным, а процедура малоэффективной.

12.4.3. Алгоритм разностного группирования

Алгоритм разностного группирования данных - это модификация предыдущего алгоритма, в которой обучающие векторы Х( рассматриваются в качестве потен­ циальных центров V.Пиковая функция ОДг,) в этом алгоритме задастся в виде

/\

(потенциального центра) значение функции Щхд велико. Напротив, малое ее значение свидетельствует о том, что в окрестности а*; находится незначи­ тельное количество данных. Такая точка считается "неудачным" кандидатом а центры. После расчета значений пиковой функции для каждой точки эту отбирается вектор х, для которого мера плотности 0 (х) оказалась наи­ большей. Именно эта точка становится первым отобранным центром с/. Выбор следующего центра возможен после исключения предыдущего н всех точек, лежащих в его окрестности. Гак же, как и в методе пикового груп­ пирования, пиковая функция переопределяется в виде

(12.33)

При новом определении функции О коэффициент г* обозначает новое значение константы, задающей сферу соседства очередного центра. Обычно соблюдается условие г ^ г а. Пиковая функция Ял*и(*|) принимает нулевое значение при Х( = с\ и близка к нулю в ближайшей окрестности этой точки.

После модификации значений пиковой функции отыскивается следующая точка х , для которой величина Дич{я:) оказывается максимальной. Эта точка становитсл следующим центром с2. Процесс поиска очередного центра возобновляется после исключения компонентов, соответствующих уже отобранным точкам. Инициализация завершается в момент фиксации всех центров, предусмотренных начальными условиями.

В соответствии с описанным алгоритмом происходит самоорганизация множества векторов х, состоящая в нахождении оптимальных значений цент­

ров, представляющих множество данных с минимальной погрешностью. Если мы имеем дело с множеством обучающих данных в виде пар векторов (лгг,4 ) так, как это происходит при обучении с учителем, то для нахождения центров, соответствующих множеству векторов 4 , достаточно сформировать расширенную версию векторов .г в форме

*«<-1*гД]. (12.32)

Процесс группирования, проводимый с предъявлением расширенных векторов лг/. позволяет определить также расширенные версии центров с,. Если принять во внимание, что размерность каждого нового цешра равна сумме размерностей векторов л* и 4 то в описании этого центра можно легко выделить часть р, соответствующую векторам х (нсроыс N компонентов), л остаток соответствующий вектору Л. Таким образом можно получить цетры как входных переменных, ток ожидаемых выходных значении

для г = 1 , 2 , К. В случае применения нечетких правил с одним выходом векторы </и 4 сводятся к скалярным осличином Ли ф соответственно. Таким образом, при использовании правила вывода Ванга-Менделя процесс самоорганизации позволяет восстановить функцию/(* ), аппроксимирующую множество двнных (а/,4 ) для г ■= 1,2 ,.... р. В частности, при введенных выше обозначениях фор* мула (12.7) принимает вид:

согласно которому вес центры подбираются оптимальным образом. При этом остальные параметры (Д/, стД менее критичные для сходимости алгоритма, могут эффективно подбираться гибридным методом лрн небольшом количестве итераций. Конечно, итерационный процесс при реализации гибридного метода охватывает также и расчеты координат центров, однако с учетом их удачного начального размещения изменения, вносимые в процессе обучения, обычно оказываются очень незначительными.

12,4.4. Алгоритм нечеткой самоорганизации Густафсона-Кесселя

В классическом алгоритме С-теапз, представленном в подразделе 12.4.1, нейронпобед1ггсль выбирается на основании обычного эвклидового расстояния между вектором х и центром с кластера, т.е.

где расстояние между вектором лу к центром с{ определяется с учетом масштабирования как

Решение задачи оптимального размещения центров но алгоритму Густафсоиа-Кесссля происходит так же, как к но алгоритму С-теапх путем многократного пересчета коэффициентов принадлежности щ по формуле (12.29) и координат центров с, по формуле (12.28), но с учетом масштабиро­ вания при расчете расстояний. Алгоритм Густафсоиа-Кесссля может быть сформулирован в следующем виде.

1.Произвести начальное размещение центров в пространстве данных. Эта инициализация может быть случайной или основанной на результатах иикооого или разностного группирования данных. Создать элсме1парную форму масштабирующей матрицы А,-.

2.Сформировать матрицу коэффициентов принадлежности всех векторов дгу(| = 1 ,2 ,.... р) к центрам о ( / = I, 2......К) путем расчета значений ну по формуле

3. Рассчитан» новое размещение центров в соответствии с формулой

Ь ^ Х }

и

4.Сгенерировать для каждого центра матрицу ковариации 8,-

6.Если последние изменения положений центров и матрицы ковариации пренебрежимо малы по отношению к предыдущим значениям и не превышают изначально заданной пороговой величины I, то завершить итерационный процесс; в прошеном случае перейш к л. 2.

Функционирующий таким образом алгоритм обучения параллельно генерирует все центры самоорганизующихся нечетких нейронов и связанные с ними масштабирующие матрицы, используемые при расчете расстояний. По завершении процесса обучения как положения центров, так н значения элементов масштабирующих матриц фиксируются и могут использоваться в режиме эксплуатации сети.

Работа алгоритма будет проиллюстрирована на примере множсстоа данных, иэобрвжешшх на рис. 12.4.

Р ис. 12.4. Распределение данных иа четыре группы с неравномерной структурой

Это множество образовано четырьмя группами данных, сгенерированных случайным образом и размещенных в окрестностях центров со следующими координатами (х,у):

(-0,7,0).

Разбросы данных по осям 0-х и 0-у составляют: (1.$, 0,2) - для первого кластера, (1.5, 0,2) - для второго кластера, (0,6, 4) - для третьего кластера и (0,6, 4) - для четвертого кластера. Главная проблема группирования этих данных состоит в том, что граничные данные вытянутых кластеров лежат ближе к центру соседнего кластера, чем своего собственного. Поэтому применение обычного алгоритма С-теат привело бы к некорректной классификации данных.

С помощью нечеткой самоорганизации Густвфсона-Кесселя уточнено размещение 4 центров и рассчитаны соответствующие им матрицы ковариации.

Гибридная есть объединяет в себе сеть с нечеткой самоорганизацией, выполняющей функции препроцессора, и многослойный (обычно двухслойный) переемтрон (МЬР) о качестве постпроцессора.

Выходы самоорганизующегося слоя используются в качестве входов

вектор «, состоящий из коэффициентов принадлежности х к конкретным центрам: и = [г/дОО. чп(х), Щх[х)]Т- Конкретные компоненты иу рассчи­ тываются в соответствии с универсальной формулой (12.43). Они удовлетворяют

количеству самоорганизующихся нейронов. Количество скрытых слоев и число нейронов в этих слоях может быть, в принципе, произвольным, хотя обычно для восстановления дпнных с требуемой точностью достаточно одного слоя. Размерность выходного слоя МЬР (т.с. количество сигналов у/, составляющих фактический выходной вектор у) зависит от размерности заданного вектора г/, сопряженного с входным вектором .г.

На практике гибридная сеть, как правило, более эффективна, чем одиночная сеть с нечеткой самоорганизацией и чем самостоятельный многослойный перссптрои. Э тот вывод следует из факта, что при исполь­ зовании гибридной сети задача разделяется на два независимых этапа, реализуемых отдельно друг ог друга. На этане самоорганизации пространство входных данных разделяется на кластеры, при этом количество кластеров (самоорганизующихся нейронов) может быть произвольным и определяться условиями решаемой задачи. Многослойный псрсстрон приписывает каждой группе кластеров соответствующий ей ожидаемый результат. Например, при решении задачи классификоции это может выглядеть как отнесение к одному конкретному хлвссу нескольких кластеров данных.

С учетом ярко выраженной двухкомпоиентной структуры гибридной сети для ее обучешш применяется алгоритм, состоящий из двух этапов. На первом из них проводится обучение самоорганизующегося слоя, состоящее в подборе позиций центров, представляющих данные. Для этого можно применять как алгоритм С-мел/и, ток и алгоритм Густафсона-Кесссля. По завершении первого этана, когда стабиинэнроавлись значения коэффициентов принадлежности всех векторов, представляющих входные сигналы для многослойного псрсептропа, начинается второй этап обучения. На нем значения параметров самоорганизующейся части сети остаются неизменными, а уточняются только веса нейронов нерсснтронной компоненты. Это обычное обучение многослойного лсрссптрона, для которого входом является множество коэффициентов принадлежности вектора дг х центрам самоорганизующегося слоя. В зависимости от типа решпемой задачи выходом с е т может быть код класса, к которому принадлежит входной вектор дг, либо ожидаемое значение ^ выходного вектора, соответствующего вектору л:. По завершении второго

этапа обучения веса замораживаются, и сеть становится готовой к функцио­ нированию в режиме эксплуатации (в котором на нее подаются только входные векторы х без соответствующих им векторов </)•

Функционирование гибридной нечеткой сети проиллюстрируем на примере задачи классификации трехмерных донных, принадлежащих к трем частично пересекающимся классам. Распределение этих данных представлено на рис. 12.7.

Рис. 12.7. Распределение тестовых трехмерных данных для решения задачи классификации

Количество данных, относящихся к разным классам, различно. В первом классе содержится 600 векторов л*. обозначенных точками. Второй класс составляют 100 векторов, обозначенных звездочками, а л третий класс входят 300 векторов, обозначенных знаком “+”. в ходе вычислительного эксперимента классы кодировались в двоичной системе (1 означала принадлежность к хлвссу, а 0 - отсутствие принадлежности). По количеству классов размерность выходного вектора равна 3. Решение задачи при использовании обычного классификатора Кохонеиа либо сети с нечеткой самоорганизацией малоэффективно, поскольку количество выходных нейронов должно быть равно числу классов, т.е. трем, что существенно обедняет арх1ггеюуру сети, а вследствие частичного пересечения классов будет просто нецелесообразным.

Применение гибридной нечеткой сети со структурой 10-10-8-3 (10 самоорганизующихся нейронов и многослойный персептрон со струк­ турой 10-8-3) дало хорошие результаты классификации. На 1000 тестовых дан­ ных, не участвовавших в обучении, получено только б ошибочных решений об. отнесении к конкретным классам (эффективность классификашш составила 99,4%). Для сравнения самостоятельный многослойный персептрон при классификации допустил И ошибок (эффективность 98,9%), а одиночная сеть с нечеткой самоорганизацией - 51 ошибку (эффективность 94,9%).

12.4.6. Примеры реализации нечетких сетей

Нечепске нейронные сети как на осноос самоорганизации, так и обучаемые с учителем, находят применение в тех же практических областях, что и классические сети соответствующих типов. По сравнению с традиционными решениями они демонстрируют качества, связанные с их способностью гладкой аппроксимации пороговых функций (см. графнкн па рис. И.1). В настоящем подразделе будут приведены результаты аппроксимации нелинейной кривой с помощью сети Т8К (сеть обучалась с учителем), представления большого количества многомерных данных ограниченным числом нечетких нейронов (сеть с самоорганизацией), а также примеры использования сети Т8К для решения задачи распознавания газовых смесей.

О качестве первого примера рассмотрим аппроксимацию нелинейной функции от трех переменных (дг = [Х|,.Т2, *]]), описываемой зависимостью

при диапазоне изменения входных переменных (*' = I, 2, 3) от 1 до б. Для восстановления этой функции применялась нечеткая сеть Т8К с функцией принадлежности

В сети использовались восемь нечетких правил, а начальные значения всех параметров выбирались случайным образом. Общее количество параметров сети было равно 50, из которых 18 - это параметры нелинейной части условий, а остальные 32 - линейные веса рц. Сеть обучалась по гибридному алгоритму, основанному на декомпозиции 8УО. После обработки 200 обучающих выборок, равномерно распределенных в пространстве параметров, погрешность М8Е уменьшилась с 57,19 в начале обучения до 1,61. Эго соответствует примерно 0,7% относительной погрешности, приходящейся на одну выборку. Наиболее интенсивно погрешность уменьшалась в начальной фазе обучения. На рис. 12.8 иллюстрируется процесс последовательного итерационного уточнения нелинейных параметров с/, сг, и Ь( функции принадлежности д(дг). По графикам видно, что изменения происходили в широком диапазоне значений.

Способность нечеткой сети к самоорганизации можно продемонст­ рировать на примере двумерных данных с распределением, представ­ ленным в разделе 9 на рис. 9.2. Нечеткие сети состояли из такого же количества нейронов, что к сети Кохоненп, т.е. 40 н 200. На рис. 12.9 и 12.10 в графи­ ческом виде покаэпны результаты отображения обучающих дойных вехторомн весов нечетких нейронов сетями из 40 (рис. 12.9) и 200 (рис. 12.10) нейронов соответственно. Ситуации, проиллюстрированные на рис. 12.9 и