84 Обучение инс. Обучение без учителя. Алгоритм обучения Кохонена.
Процесс функционирование ИНС, т.е сущность действий которые она способна выполнить, зависит от величин синоптических связей, поэтому разработчик выбрав структуру ИНС должен найти оптимальное значение весовых коэффициентов. Этот этап называется – обучение ИНС.
Схема процесса обучения следующая: Из БД выбирается пример, применяется ИНС и анализируется ответ, если ошибка мала, то ИНС считается обученной, Если ошибка велика- то происходит настройка весовых коэффициентов.
Обычно ИНС настраивают веса связи по имеющейся обучающей выборки, причем функционирование ИНС улучшается по мере итерационной настройки весовых коэффициентов. Существует 3 парадигмы обучения: Обучение с учителем. Смешанное обучение,
Обучение без учителя - не требует знания правильного ответа на каждый пример выборки. Раскрывается внутренняя структура данных , что позволяет распределить примеры по категориям.
Алгоритм обучения Кохонена:
Задаются случайные, нормализованные по длине векторы Wi
Начало цикла обучения. Ввод очередного вектора входов Х.
Определение нейрона победителя (т.е. нейрона с максимальным выходом), корректировка его весов и задание единичного выхода: Wr=Wr+
(Wr-X)
yr=1
𝛈- коэффициент скорости обучения.
Нормализация найденного вектора – деление каждой компоненты вектора на длину вектора (квадратный корень из суммы квадратов компонента вектора).
Wr
=Wr/
Это превращает входной вектор весов в единичный вектор с тем же направлением, т.е вектор единичной длины в n-мерном пространстве.
Задание значений для остальных нейронов wi=wi; yi=0, i=r.
Проверка выполнения правила остановки. В качестве такого правила можно выбрать стабилизацию векторов весов на определенных значениях. Если оно не выполнено, то продолжение цикла обучения переходом к шагу 2 , в противном случае переход к шагу 7.
Окончание процедуры обучения
Выражение для коррекции вектора весовых коэффициентов можно представить в след. виде:
Wr:=Wr+
(X-Wr)=(1-
)*Wr+
Т.е. новое значение данного вектора является взвешенной суммой старого значения и предъявленного вектора входов.
Итоговым результатом для подбора коррекций в условиях рассматриваемого примера являются векторы весов, показывающие на центры кластеров (центры группирования входных образов).
Алгоритм обучения Кохонена обеспечивает решение задач автоматической классификации, то есть отнесение предъявленного вектора входов к одному из классов. Число нейронов ИНС для успешного решения указанной задачи должно быть не меньше чем число кластеров, и поскольку число кластеров заранее неизвестно, количество нейронов задается с определенным запасом.
Лишние нейроны, у которых в процессе обучения веса не изменяются по завершению данного процесса могут быть удалены.
85 Обучение инс. Смешанное обучения. Сети встречного распространения
Процесс функционирование ИНС, т.е сущность действий которые она способна выполнить, зависит от величин синоптических связей, поэтому разработчик выбрав структуру ИНС должен найти оптимальное значение весовых коэффициентов. Этот этап называется – обучение ИНС.
Схема процесса обучения следующая: Из БД выбирается пример, применяется ИНС и анализируется ответ, если ошибка мала, то ИНС считается обученной, Если ошибка велика- то происходит настройка весовых коэффициентов.
Обычно ИНС настраивают веса связи по имеющейся обучающей выборки, причем функционирование ИНС улучшается по мере итерационной настройки весовых коэффициентов.
Существует 3 парадигмы обучения: Обучение с учителем. Смешанное обучение, Обучение без учителя
ИНС встречного распространения.
Объединение различный нейронных структур в единой архитектуре, приводят часто к свойствам, которых нет у них по отдельности. ИНС встречного распространения состоит из входного слоя нейронов, слоя Кохонена и слоя Гросберга.
По своим характеристикам данная сеть существенно превосходит ИНС прямого распространения. Время обучения задачам кластеризации и распознавания примерно в 1000 р меньше, чем время обучения в сетей с обратным распространением ошибки. Также сеть встречного распространения имеет хорошие способности к обобщению, позволяющие получать правильный выход при неполном или зашумленном входном векторе. Это используется для решения задач восстановления образов и усиления сигналов. В процессе обучения СВР входные векторы ассоциируются с соответствующими выходными векторами. СВР имеют слой Кохонена и Гросберга.
Каждый элемент входного сигнала подается на все нейроны слоя Кохонена. Каждый нейрон слоя Кохонена соединен со всеми нейронами слоя Гросберга. Отличие сети встречного распространения от других сетей состоит в операциях , выполняемых нейронами Кохонина и Гросберга.
В режиме функционирования сети предъявляется входной сигнал Х и формируется выходной сигнал Y. В режиме обучения на вход сети подается входной сигнал и веса корректировки, т.о. чтобы сеть выдавала требуемый результат.
Функционирование сети:
Слой Кохонена- функционирует по правилу “Победитель забирает все”. Для данного входного вектора только один НЕЙРОН КОХОНЕНА выдает логическую единицу, остальные выдают логический 0. Выход каждого нейрона КОХОНЕНА является взвешенной суммой элементов входных сигналов: Sj=w1jx1 + w2jx2 + ... + WmjXm. Sj- выход нейрона Кохонена, Х –вектор входного сигнала.
Нейрон Кохонена с максимальным значением Sj- является победителем, его выход равен1, у остальных выход равен 0.
Слой Гросберга- выход слоя Гросберга является взвешанной суммой выходов слоя Кохонена.
Если слой Кохонена функционирует так, что только один его выход равен 1, то каждый нейрон слоя Гросберга выдает величину веса, который связывает этот нейрон с единственный нейроном слоя Кохонена, чей выход отличен от 0.
Рассматривая ИНС требует предварительной обработки входных векторов путем их нормализации.
Обучение сети:
Слой Кохонена классифицирует входные векторы в группу схожих. Это решается с помощью настройки весовых коэффициентов, такой что близкие входные векторы активируют один и тот же нейрон данного слоя.
Слой Кохонена обучается без учителей. В результате обучения слой приобретает способность разделять несхожие входные векторы. На вход сети подается входной вектор и вычисляется его скалярное произведение с вектором весов. Скалярное произведение является мерой сходства между входным вектором и вектором весов. Уравнение, описывающие процесс обучения имеет вид: Wнов:=Wс+ (X-Wс)
Wнов-новое значение веса; Wс- предыдущее значение веса, КПД- коэффициент скорости обучения. Коэффициент скорости обучения в начале принимается равным 0,7, затем постепенно уменьшается. Это позволяет делать большие начальные шаги для быстрого грубого обучения и и меньшие шаги при подходе к окончательной величине.
Обучение слоя Гросберга – обучение с учителем. Алгоритм использует заданные , желаемые выходы, каждый вес корректируется лишь в том случае, если он соединен с нейроном Кохонена, имеющий ненулевой выход.
Область применения СВР: распознавание образов; Восстановление образов; Сжатие данных
Недостатки: Нет возможности строить точные отображения
Преимущества : Быстрота обучения, структурная простота.
