8.6. Алгоритм «обучение без учителем».

Алгоритм обучения Хебба (обучения без учителя).

Для обучения нейронной сети возможно применение иного алгоритма - без учителя. Главная черта, делающая обучение без учителя привлекательным, это его самостоятельность. Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы, правда, изменяют и структуру сети, т. е. количество нейронов и их взаимосвязи, но такие преобразования правильнее назвать более широким термином - самоорганизацией. Очевидно, что подстройка весов синапсов может проводиться только на основании информации о состоянии нейронов и уже имеющихся весовых коэффициентов. На этом, в частности, по аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба.

Сигнальный метод обучения Хебба заключается в изменении весов по следующему правилу:

w_ij(t)  w_ij(t-1) + y_i^(q-1) y_j^(q) (1.3).

где y_i^(q-1) - выходное значение нейрона i слоя (q-1), y_j^(q) – выходное значение нейрона j слоя q; w_ij(t) и w_ij(t-1) - весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и (t-1) соответственно;  - коэффициент скорости обучения. Здесь и далее, для общности, под q подразумевается произвольный слой сети.

Полный алгоритм обучения будет выглядеть следующим образом.

ШАГ 1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

ШАГ 2. На входы сети подается входной образ, и сигналы возбуждения распространяются по всем слоям согласно принципам классических сетей прямого распространения (feedforward). При этом для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная функция нейрона, в результате чего получается его выходное значение y_i^(q), i=1…L_q, где L_q - число нейронов в слое q, q = 1...Q; Q – число слоёв в сети.

ШАГ 3. На основании полученных выходных значений нейронов по формуле (1.3) проводится изменение весовых коэффициентов.

ШАГ 4. Цикл с шага 2, пока выходные значения сети не стабилизируются с заданной точностью. Применение этого способа определения момента завершения обучения, отличного от использовавшегося для сети обратного распространения, обусловлено тем, что подстраиваемые значения синапсов фактически не ограничены. На шаге 2 цикла попеременно предъявляются все образы из входного набора.

Следует отметить, что вид откликов на каждый класс входных образов заранее неизвестен и представляет собой произвольное сочетание состояний нейронов выходного слоя, обусловленное случайным распределением весов на стадии инициализации. Вместе с тем, сеть способна обобщать схожие образы, относя их к одному классу. Тестирование обученной сети позволяет определить топологию классов в выходном слое. для приведения откликов обученной сети к удобному представлению можно дополнить сеть одним слоем, который можно заставить отображать выходные реакции сети в требуемые образы.

Лекция 20

8.7. Способы реализации нейронных сетей.

Искусственные нейронные сети (ИНС) могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпью­теры (НК), нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых и дешевых нейроБИС - модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120

синапсами. Среди перспективных разработок можно выделить модели фирмы Adaptive Solutions (США) и Нitachi (Япония). Раз­рабатываемая фирмой Adaptive Solutions нейроБИС является од­ной из самых быстродействующих: объявленная скорость обра­ботки составляет 1,2 млрд. межнейронных соединений в секунду (мнс/с). Схемы, производимые фирмой Hitachi, позволяют реа­лизовывать ИНС, содержащие до 576 нейронов.

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относят­ся, например, компьютеры серии FMR фирмы Fиjitsи. Возмож­ностей таких систем вполне хватает для решения большого числа прикладных задач методами нейроматематики, а также для раз­работки новых алгоритмов. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Типичными представителя­ми таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона - электронное устройство, моделирующее нейронную сеть, разработанная Ф. Розен­блатом, называлась Mark 1). Модель Mark 111 фирмы TRW пред­ставляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены общей шиной. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элемен­тов с более чем 1 млн настраиваемых соединений, позволяет об­рабатывать до 450 тыс. мнс/с.

Другим примером является нейрокомпьютер NETSIM, со­зданный фирмой Texas Instmments на базе разработок Кембридж­ского университета. Его топология представляет собой трехмер­ную решетку стандартных вычислительных узлов на базе процес­соров 80188. Компьютер NETSIM используется для моделирова­ния сетей Хопфилда-Кохонена. Его производительность дости­гает 450 млн. мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, приме­няют более дешевые программные реализации-нейропакеты(НП). Нейропакетом называется программная система, эмулирующая среду НК на обычном компьютере.

В соответствии с классификация НП предложенной Галушкиным А.И. НП делятся на семь основных классов.

1. НП для разработки других НП (инструментарий построения НП).

2. Универсальные НП. Под универсальностью понимается возмож­ность моделиро-вания ИНС разной структуры и с разными алгоритмами обу­чения.

З. Специализированные НП, использующие нейроны сложной функ­циональности

и включающие специализированные средства для:

. обработки изображений;

. распознавания образов;

. распознавания рукописных и печатных символов;

. распознавания речи;

. управления динамическими системами;

. финансового анализа и др..

4. Нейронные ЭС.

5. Пакеты генетического обучения ИНС.

6. Пакеты нечеткой логики, использующие ИНС.

7. Интегрированные пакеты, использующие ИНС.

Примеры НП первого класса:

. OWL (разработчик - Hyper Logic Corp.);

. Neuro Windows (разработчик -Ward Systems Group);

. NNet+ (разработчик - NeuroMetric Vision System);

. Neural Network Toolbox for Matlab (разработчик - Math Works);

. Neuro Office (разработчик - ЗАО «АльфаСистем»).

Архитектура универсального НП представлена на рис. 5.

Процесс разработки модели ИНСсостоит из четырех этапов:

1) визуальное проектирование структуры и топологии ИНС;

2) определение синаптической карты и функций активации нейронов;

3) обучение построенной ИНС;

4) тестирование обученной ИНС (в том числе оценивание скорости

работы ИНС).

Укрупнен­ные структуры подсистемы формирования ИНС и подсистемы проведения экспериментов с ИНС изображены на рис. 6 и рис. 7.

Интерфейс начинающего пользователя нейропакета ( в том числе средств визуального представления нейросети и результатов на всех этапах работы)

Подсистема формирования нейросети

Интерфейс опытного пользователя нейропакета ( в том числе средств визуального представления нейросети и результатов на всех этапах работы)

Рис. 5 Архитектура универсального нейропакета.

Визуальный интерфейс

Библиотека типовых нейросетей.

Выбор параметров нейросети

Библиотека типовых нейронов.

Выбор типов нейронов

Выбор функций активации нейронов

Библиотека функций активации.

Рис. 6 Укрупнённая структура подсистемы формирования нейросети.

Разработка математических моделей

элементарной языковой системы человека

Программная реализация

математических моделей высшей

нервной системы человека

Визуальный интерфейс

БД нейросети.

Библиотека алгоритмов обучения.

Выбор алгоритма обучения нейросети

Библиотека критериев обученности. типовых нейронов.

Выбор критерия обученности.

Библиотека генераторов шума.

Выбор типа задаваемого шума.

.

Рис. 7 Укрупнённая структура подсистемы проведения экспериментов с нейросетью.

Аппаратной базой для НП служат рабочие станции или персональные ЭВМ, обладающие высокой производительностью.

Главным показателем эффективности функционирования НП служит

скорость обучения ИНС. Поскольку во многих НП механизм обучения реализован на основе алгоритма «обратного распространения ошибки», данный показатель у них принимает близкие значения и для оценки НП выделяются 11 следующих дополнительных критериев:

1) простота формирования и обучения ИНС при использовании ин­туитивно понятного графического интерфейса НП;

2) простота подготовки обучающей выборки;

3) наглядность и полнота представления информации в процессе фор­мирования и обучения ИНС;

4) состав поддерживаемых нейронных моделей, критериев и алгоритмов обучения;

5) возможность создания собственных (т. е. нетиповых) нейронных структур;

6) возможность использования собственных критериев оптимизации;

7) возможность использования собственных алгоритмов обучения ИНС;

8) простота обмена информацией между НП и другими приложениями;

9) открытая архитектура пакета (возможность его расширения за счет

внешних программных модулей);

10) наличие генератора исходного кода;

11) наличие макроязыка для ускорения работы с НП.

Названные критерии можно разделить на три класса:

• первые три критерия оценивают НП с точки зрения начинающих

пользователей;

• критерии с четвертого по восьмой оценивают НП с точки зрения

опытных пользователей;

• последние три критерия оценивают НП с точки зрения

профессиональных разработчиков НП.