
- •Хронология
- •Известные типы сетей
- •Элементы нейронной сети
- •Составные элементы
- •Функционирование сети
- •Методы построения двойственных сетей
- •Элементы самодвойственных сетей
- •Умножитель
- •Точка ветвления
- •Сумматор
- •Нелинейный Паде преобразователь
- •Нелинейный сигмоидный преобразователь
- •Произвольный непрерывный нелинейный преобразователь
- •Пороговый преобразователь
- •Правила остановки работы сети
- •Архитектуры сетей
- •Контрастирование и нормализация сети
- •Примеры сетей и алгоритмов их обучения
- •Сети Хопфилда
- •Сеть Кохонена
- •Персептрон Розенблатта
- •25.12.09 - Досрочный экзамен ооа (если написана контрольная)
- •13.01.10 В 11.00: экзамен по ооа (письменный)
- •14.01.10 В 11.00: результаты экзамена
Контрастирование и нормализация сети
В последние годы широкое распространение получили различные методы контрастирования или скелетонизации нейронных сетей. В ходе процедуры контрастирования достигается высокая степень разреженности синаптической карты нейронной сети, так как большинство связей получают нулевые веса (см. например [47, 100, 303. 304]).
Очевидно, что при такой степени разреженности ненулевых параметров проводить вычисления так, как будто структура сети не изменилась, неэффективно. Возникает потребность в процедуре нормализации сети, то есть фактического удаления нулевых связей из сети, а не только из обучения. Процедура нормализации состоит из двух этапов:
Из сети удаляются все связи, имеющие нулевые веса и исключенные из обучения.
Из сети удаляются все подсети, выходные сигналы которых не используются другими подсетями в качестве входных сигналов и не являются выходными сигналами сети в целом.
В ходе нормализации возникает одна трудность: если при описании нейронной сети все нейроны одинаковы, и можно описать нейрон один раз, то после удаления отконтрастированных связей нейроны обычно имеют различную структуру. Компонент сеть должен отслеживать ситуации, когда два блока исходно одного и того же типа уже не могут быть представлены в виде этого блока с различными параметрами. В этих случаях компонент сеть порождает новый тип блока. Правила порождения имен блоков приведены в описании выполнения запроса на нормализацию сети.
Примеры сетей и алгоритмов их обучения
В этом разделе намеренно допущено отступление от общей методики – не смешивать разные компоненты. Это сделано для облегчения демонстрации построения нейронных сетей обратного распространения, позволяющих реализовать на них большинство известных алгоритмов обучения нейронных сетей.
Сети Хопфилда
Классическая сеть
Хопфилда [312],
функционирующая в дискретном времени,
строится следующим образом. Пусть
–
набор эталонных образов
.
Каждый образ, включая и эталоны, имеет
видn-мерного
вектора с координатами, равными нулю
или единице. При предъявлении на вход
сети образа x
сеть вычисляет образ, наиболее похожий
на x.
В качестве меры близости образов выберем
скалярное произведение соответствующих
векторов. Вычисления проводятся по
следующей формуле:
.
Эта процедура выполняется до тех пор,
пока после очередной итерации не
окажется, что
.
Векторx,
полученный в ходе последней итерации,
считается ответом. Для нейросетевой
реализации формула работы сети
переписывается в следующем виде:
или
где
.
На рис. 17 приведена схема сети Хопфилда [312] для распознавания четырехмерных образов. Обычно сети Хопфилда [312] относят к сетям с формируемой синаптической картой. Однако, используя разработанный в первой части главы набор элементов, можно построить обучаемую сеть. Для построения такой сети используем «прозрачные» пороговые элементы. Ниже приведен алгоритм обучения сети Хопфилда [312].
Положим все синаптические веса равными нулю.
Предъявим сети первый эталон
и проведем один такт функционирования вперед, то есть цикл будет работать не до равновесия, а один раз (см. рис. 17б).
Подадим на выход каждого нейрона соответствующую координату вектора
(см. рис. 17в). Поправка, вычисленная на j-ом синапсе i-го нейрона, равна произведению сигнала прямого функционирования на сигнал обратного функционирования. Поскольку при обратном функционировании пороговый элемент прозрачен, а сумматор переходит в точку ветвления, то поправка равна
.
|
Далее проведем шаг обучения с параметрами обучения, равными единице. В результате получим
.
Повторяя этот
алгоритм, начиная со второго шага, для
всех эталонов получим
,
что полностью совпадает с формулой
формирования синаптической карты сети
Хопфилда[312],
приведенной в начале раздела.