- •Оглавление
- •Введение
- •1.Математические модели искусственных нейронных сетей [9]
- •1.1Общие сведения о структуре биологического нейрона
- •1.2 Математическая модель искусственного нейрона
- •1.3 Математическое описание нейронной сети
- •1.4 Стохастический нейрон
- •1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- •2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- •2.1 Концепции применения нейросетевых компонентов в информационных системах
- •2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- •2.3 Формирование задачника для нейросети
- •2.4 Особенности формирования нейронной сети
- •2.5 Интерпретация сигналов нейронной сети
- •2.6Управляющая программа (исполнитель)
- •2.7 Компонент учитель
- •2.8Настройка параметров нейросети.
- •2.9Оценка и коррекция нейросетевой модели
- •2.10 Конструктор нейронной сети
- •2.11 Контрастер нейросети.
- •2.12 Логически прозрачные сети, получение явных знаний
- •2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- •2.14Разработка языка описания нейроимитатора для обмена данными
- •3.Разновидности нейронных сетей [31]
- •3.1Персептрон Розенблатта.
- •3.1.1Персептрон Розенблатта.
- •3.1.2Теорема об обучении персептрона.
- •3.1.3Линейная разделимость и персептронная представляемость
- •3.2Свойства процессов обучения в нейронных сетях.
- •3.2.1Задача обучения нейронной сети на примерах.
- •3.2.2Классификация и категоризация.
- •3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- •3.3Многослойный персептрон.
- •3.3.1Необходимость иерархической организации нейросетевых архитектур.
- •3.3.2Многослойный персептрон.
- •3.3.3Обучение методом обратного распространения ошибок.
- •3.4Другие иерархические архитектуры.
- •3.4.1Звезды Гроссберга
- •3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- •3.4.3Карта самоорганизации Кохонена.
- •3.4.4Нейронная сеть встречного распространения.
- •3.5Модель Хопфилда.
- •3.5.1Сети с обратными связями
- •3.5.2Нейродинамика в модели Хопфилда
- •3.5.3Правило обучения Хебба
- •3.5.4Ассоциативность памяти и задача распознавания образов
- •3.6Обобщения и применения модели Хопфилда.
- •3.6.1Модификации правила Хебба.
- •3.6.2Матрица Хебба с ортогонализацией образов.
- •3.6.3Отказ от симметрии синапсов.
- •3.6.4Алгоритмы разобучения (забывания).
- •3.6.5Двунаправленная ассоциативная память.
- •3.6.6Детерминированная и вероятностная нейродинамика.
- •3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- •3.7Неокогнитрон Фукушимы.
- •3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- •3.7.2Неокогнитрон и инвариантное распознавание образов.
- •3.8Теория адаптивного резонанса.
- •3.8.1Дилемма стабильности-пластичности восприятия.
- •3.8.2Принцип адаптивного резонанса.
- •3.8.3Нейронная сеть aрt-1.
- •3.8.4Начальное состояние сети.
- •3.8.5Фаза сравнения.
- •3.8.6Фаза поиска.
- •3.8.7Обучение сети арт.
- •3.8.8Теоремы арт.
- •3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- •3.8.10Сети арт-2 и арт-3.
- •3.9Черты современных архитектур.
- •3.9.1Черты современных архитектур.
- •3.9.2Сегодняшний день нейронауки.
- •3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- •4.Литература и учебно-методические материалы
3.4.3Карта самоорганизации Кохонена.
В противоположность хемминговой сети модель Кохонена (T.Kohonen, 1982) выполняет обобщение пред'являемой информации. В результате работы НС Кохонена получается образ, представляющий собой карту распределения векторов из обучающей выборки. Таким образов, в модели Кохонена выполняется решение задачи нахождения кластеров в пространстве входных образов.
Данная сеть обучается без учителя на основе самоорганизации. По мере обучении вектора весов нейронов стремятся к центрам кластеров - групп векторов обучающей выборки. На этапе решения информационных задач сеть относит новый пред'явленный образ к одному из сформированных кластеров, указывая тем самым категорию, к которой он принадлежит.
Рассмотрим архитектуру НС Кохонена и правила обучения подробнее. Сеть Кохонена, также как и сеть Липпмана-Хемминга, состоит из одного слоя нейронов. Число входов каждого нейрона равно размерности входного образа. Количество же нейронов определяется той степенью подробности с которой требуется выполнить кластеризацию набора библиотечных образов. При достаточном количестве нейронов и удачных параметрах обучения НС Кохонена может не только выделить основные группы образов, но и установить "тонкую структуру" полученных кластеров. При этом близким входным образам будет соответствовать близкие карты нейронной активности.
Рис. 7.2. Пример карты Кохонена. Размер каждого квадратика соответствует степени возбуждения соответствующего нейрона.
Обучение начинается с задания случайных значений матрице связей . В дальнейшем происходит процесс самоорганизации, состоящий в модификации весов при пред'явлении на вход векторов обучающей выборки. Для каждого нейрона можно определить его расстояние до вектора входа:
Далее выбирается нейрон m=m*, для которого это расстояние минимально. На текущем шаге обучения t будут модифицироваться только веса нейронов из окрестности нейрона m*:
Первоначально в окрестности любого из нейронов находятся все нейроны сети, в последствии эта окрестность сужается. В конце этапа обучения подстраиваются только веса самог`о ближайшего нейрона. Темп обучения h(t)<1 с течением времени также уменьшается. Образы обучающей выборки пред'являются последовательно, и каждый раз происходит подстройка весов. Нейронная сеть Кохонена может обучаться и на искаженных версиях входных векторов, в процессе обучения искажения, если они не носят систематический характер, сглаживаются.
Для наглядности представления карты нейроны Кохонена могут быть упорядочены в двумерную матрицу, при этом под окрестностью нейрона-победителя принимаются соседние (по строкам и столбцам) элементы матрицы. Результирующую карту удобно представить в виде двумерного изображения, на котором различные степени возбуждения всех нейронов отображаются квадратами различной площади. Пример карты, построенной по 100 нейронам Кохонена, представлен на рис.7.2.
Каждый нейрон несет информацию о кластере - сгустке в пространстве входных образов, формируя для данной группы собирательный образ. Таким образом НС Кохонена способна к обобщению. Конкретному кластеру может соответствовать и несколько нейронов с близкими значениями векторов весов, поэтому выход из строя одного нейрона не так критичен для функционирования НС Кохонена, как это имело место в случае хемминговой сети.
