Содержание

ВВЕДЕНИЕ

Данное учебное пособие представляет собой курс лекций, посвященный вопросам построения, настройки и использования нейронных сетей и формированию на их основе компьютерных нейросетевых технологий распознавания, прогнозирования и управления в различных научно-технических и управленче­ ских задачах.

Каждый раздел сопровождается вопросами и задачами для самостоятельного выполнения.

Пособие предназначено для магистрантов направления «Информатика и вычислительная техника».

1. ОСНОВНЫЕ ПОНЯТИЯ

Начало развития нейросетевых моделей следует отнести к 1943 г., оно связано с работой Мак Каллока и Питса, изданной в 1943 г. В ней была предложена схема компьютера, основанного на аналогиях с человеческим мозгом, известно, что мозг состоит примерно из 1011 нейронов, связанных между собой. Каждый ней­ рон получает информацию через свои дендриты, а передает ее дальше только через единственный аксон, разветвляющийся на конце на тысячи синапсов (рис. 1.1)

Простейший нейрон может иметь до 10000 дендритов, та­ ким образом, мозг содержит примерно 1015 связей. Нейроны взаимодействуют посредством очень коротких импульсов, каж­ дый из которых представляет собой сигнал с частотой от не­ скольких единиц до сотен герц. Это кажется не быстрым спосо­ бом обработки информации, но следует учитывать, что челове­ ческому мозгу свойственно реальное распараллеливание анало­ говой обработки информации, поскольку нейроны функциони­ руют параллельно.

Искусственная нейронная сеть - это математическая мо­ дель, или устройства параллельных вычислений, представляю­ щие собой систему взаимодействующих между собой искусст­ венных нейронов, соединенных с внешней средой.

>■

>■

tfc O -* -

Рис. 1.6. Решетчатая сеть

Радиально-базисная сеть имеет следующие особенности:

-у нее только один скрытый слой;

-именно нейроны скрытого слоя используют вышеприве­

денную функцию; - коэффициенты связей входного слоя и скрытого слоя еди­

ничны.

Структура подобной сети выглядит так (рис. 1.7):

Рис. 1.7. Радиально-базисная сеть

6.Самоорганизующиеся карты. Обычно такие сети представ­

ляют собой некую двумерную структуру, составленную из нейронов. В процессе обучения на основе каждой обучающей записи устанавливается точка, соответствующая ей в структуре сети. Нейрон, который находится ближе других к этой точке, объ­ является нейроном-победителем. Веса связей, соединяющих этот нейрон с другими, увеличиваются, тем самым происходит целена­ правленное упорядочение сети. Веса от нейронов, являющихся

ю

Сетью ART в данном случае называется довольно сложная сеть, построенная на основе теории адаптивного резонанса.

Обучение нейросетей

Сеть обучается таким образом, чтобы она на входной вектор реагировала желаемым (или, по крайней мере, близким к нему) вектором выходных сигналов. Обучение осуществляется за счет специальной процедуры обучения, которая производит целена­ правленную корректировку весовых коэффициентов между нейроподобными элементами. По мере этой итеративной настройки функционирование сети улучшается. В этом заключается пре­ имущество нейронных сетей по сравнению с некоторыми дру­ гими системами искусственного интеллекта, например, с экс­ пертными системами, однако, это преимущество проявляется только при решенииспецифичных для нейроструктур задач.

Сеть обучается в процессе взаимодействия с внешней сре­ дой, представленной моделью, особенности этой модели в ко­ нечном счете и определяют принятый способ обучения. Этот способ, в свою очередь, определяет правила модификации весо­ вых коэффициентов.

Существуют два способа обучения: «с учителем», «без учи­ теля», а также смешанные варианты обучения. При обучении с учителем нейронная сеть располагает правильными ответами (выходами сети) на каждый входной сигнал. Веса настраивают­ ся таким образом, чтобы значения выходов сети оказывались как можно более близкими к правильным.

Существует три фундаментальных свойства, связанных с обу­ чением на основе обучающей выборки, составленной из примеров: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается количество образцов, которые может запом­ нить сеть, сложность образцов определяет число обучающих при­ меров, необходимых для достижения цели.

Причем, недостаточное число примеров может вызвать «переобученность» сети. В ситуации переобученности сеть отлично функционирует на примерах обучающей выборки, но очень плохо - на других тестовых примерах, пусть и подчиненных то­ му же статистическому распределению.

Обучение с учителем

Воснове идеи обучения с учителем лежит очевидная идея

отом, что для каждого входного вектора существует другой вектор, представляющий собой требуемый выход. Вместе они составляют обучающую пару, а из многих обучающих пар скла­ дывается обучающая выборка.

На вход сети предъявляется входной вектор из заданной выборки, вычисляется выход сети и сравнивается с соответст­ вующим целевым вектором. Рассчитанная ошибка функциони­ рования используется при коррекции весовых коэффициентов сети, в соответствии с алгоритмом, направленным на ее мини­ мизацию.

Обучение без учителя

Обучающая выборка в этом случае состоит только из векто­ ров входных сигналов. Обучающий алгоритм должен корректи­ ровать весовые коэффициенты связей таким образом, чтобы для достаточно близких входных векторов на выходе нейронной се­ ти получались достаточно близкие сигналы.

Таким образом, хотя предъявление на вход сети вектора из определенного класса дает на выходе соответствующий сигнал, но до обучения невозможно предсказать, какой выходной сиг­ нал будет производиться данным классом входных векторов.

При смешанном обучении часть весовых коэффициентов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Алгоритмы обучения

Общая схема обучения нейронной сети представлена на рис. 1.10:

Большинство современных алгоритмов обучения создано на основе концепции Хебба. Согласно этой концепции синапти­ ческий вес (весовой коэффициент связи) возрастает, если акти­ вированы оба нейрона, источник и приемник. Таким образом, часто используемые пути в сети усиливаются, и феномен при­ вычки и обучения через повторение получает объяснение.

Если используется обучение, основанное на правиле Хебба, наращивание весовых коэффициентов зависит от произведения уровней возбуждения передающего и принимающего нейронов. Это можно записать как и^у(и-Н) = w(ri) + ау{у/9 гдеу/, у, - выхо­ ды нейронов, причем /-й считается «входным» дляу-го; wij - ве­ совой коэффициент связи между двумя нейронами.

Рис. 1.10. Обучение нейросети

Однако, в настоящее время используется огромное разнооб­ разие обучающих алгоритмов, как восходящих к правилу Хебба, так и значительно отличающихся от него.

Правило Хопфилда похоже на правило Хебба за исключе­ нием того, что оно определяет величину усиления или ослабле­ ния. «Если одновременно выходной и входной сигнал нейрона активные или неактивные, увеличиваем вес соединения оценкой обучения, иначе уменьшаем вес оценкой обучения».

весов для уменьшения разности («дельта») между значением желаемого и текущего выходного сигнала нейрона

Wv (п+1)=Wv(п)+ay,, (dj - y j ) .

По этому правилу минимизируется среднеквадратичная по­ грешность сети. Это правило также упоминается как правило обучения Видрова-Хоффа и правило обучения наименьших средних квадратов.

В правиле едельта» погрешность, полученная в выходном слое, преобразовывается производной передаточной функцией и последовательно послойно распространяется назад на предыду­ щие слои для коррекции синаптических весов. Процесс обратного распространения погрешностей сети движется до первого слоя. От этого метода вычисления погрешности унаследовала свое имя известная парадигма Back Propagation. При использовании правила «дельта» важным является неупорядоченность множества входных данных. При хорошо упорядоченном или структурированном обу­ чающем множестве результат сети может не достигнуть желаемой точности, и сеть будет считаться неспособной к обучению.

Правило градиентного спуска похоже на правило «дельта» ис­ пользованием производной от передаточной функции для измене­ ния погрешности «дельта» перед применением ее к весам соедине­ ний. К конечному коэффициенту изменения прибавляется пропор­ циональная константа, связанная с оценкой обучения. И хотя про­ цесс обучения сходится медленно, это правило распространено и часто используется. Доказано, что разные оценки обучения для разных слоев сети помогают процессу обучения сходиться быст­ рее. Оценки обучения для слоев, близких к выходу, устанавлива­ ются меньшими, чем для слоев, близких ко входу.

Обучение методом соревнования отличается от обучения, ко­ торое производится по правилу Хебба. При применении метода соревнования выходные нейроны конкурируют между собой за активизацию («победитель получает все»). Такое обучение ана­ логично процессам, происходящим в биологических нейронных сетях, причем происходит кластеризация, то есть похожие с точки зрения корреляции сигналы группируются сетью и представляются одним элементом. Синаптические весы нейрона-победителя моди­ фицируются. Эффект такого правила обучения достигается за счет изменения сохраненного в сети образца (вектора синаптических

весов нейрона-победителя), в сторону близости к входному обу­ чающему сигналу. Нейрон с наибольшим выходным сигналом объявляется победителем и имеет возможность тормозить своих конкурентов и возбуждать соседей. Используется выходной сигнал нейрона-победителя и только ему и его соседям разрешается кор­ ректировать свои веса соединений

(*)] -

При обучении часто встречающейся разновидности сетей, называемой персептроном, (подробнее о персептронах см. раз­ дел 2.1) используется алгоритм обучения с учителем, называе­ мый обратным распространением ошибки (Back Propagation), основанный на правиле Хебба. Он имеет небольшую скорость обучения, однако, обученная с его помощью сеть эффективна и используется во многих задачах, например, в распознавании об­ разов и прогнозировании.

Метод Delta bar Delta был разработан Робертом Джекобсом (Robert Jacobs) как модификация Back Propagation и базируется на неформальном подходе к обучению искусственных сетей, при котором каждый вес имеет свой собственный самоадаптированный фактор обучения и прошлые значения погрешности используются для вычисления будущих значений.

Преимуществом этой парадигмы является ускорение сходи­ мости за счет использования дополнительной информации об из­ менении параметров и весов во время обучения. Однако, на прак­ тике оно заметно только для небольших сетей.

Алгоритм Extended Delta Bar Delta разработали Эли Минай (АН Minai) и Рон Вильямс (Ron Williams) в качестве продолже­ ния разработок Джекобса. В алгоритм встраивается память с возможностью восстановления.

Направленный случайный поиск

Сеть направленного случайного поиска (Directed Random Search) не базируется на алгоритме Back Propagation и корректиру­ ет весовые коэффициенты случайным образом. Для обеспечения

правильного обучения к случайному шагу прибавляется компонен­ та направления, гарантирующая изменение весов в нужную сторо­ ну. Парадигма случайного поиска имеет несколько важных черт. Она быстрая и легкая в использовании, наилучшие результаты по­ лучаются, когда начальные веса находятся близко к наилучшим весам. Однако, алгоритм эффективен лишь для небольшой сети, поскольку при увеличении числа соединений, процесс обучения становится длинным и трудным.

Обучение Больцмана

Это стохастическое правило обучения, которое основано на результатах, полученных в области термодинамики.

Целью обучения, основанного на принципе Больцмана, яв­ ляется настройка весовых коэффициентов, при которой состоя­ ния наблюдаемых нейронов соответствуют требуемому распре­ делению вероятностей.

Хронология развития концепции нейросетей

1942 год - Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.

1943 го д - Маккалок и Питтс формализуют понятие ней­ ронной сети в фундаментальной статье о логическом исчисле­ нии идей и нервной активности.

1949 год - Хэбб предлагает первый алгоритм обучения.

В 1957 году Розенблаттом изобретен однослойный перцептрон. Перцептрон обретает популярность - его используют для распознавания образов, прогнозирования погоды и т.д. Каза­ лось, что построение полноценного искусственного интеллекта уже не за горами.

В 1969 году Минский публикует формальное доказательст­ во ограниченности персептрона и показывает, что однослойная сеть неспособна решать некоторые элементарные задачи (Про­ блема «четности» и «один в блоке» ). Интерес к нейронным се­ тям резко спадает.

1975 год - Фукушима представляет Когнитронсамоорга­ низующуюся сеть, предназначенную для инвариантного распо­ знавания образов.

1982 год - после длительного упадка интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обрат­ ными связями может представлять собой систему, минимизирую­ щую энергию (так называемая сеть Хопфилда). Кохоненом пред­ ставлена модель сети, решающей задачу кластеризации и обучаю­ щейся без учителя - самоорганизующаяся карта Кохонена.

Изобретение алгоритма обратного распространения ошибки позволило создать многослойные персептроны.

Понятие нейросетевой технологии.

Нейросетевыми технологиями будем называть технологии решения задач (оптимизации, распознавания, управления и т.д.), реализованные при помощи нейронных сетей.

Вопросы по материалам раздела 1

1.Что такое нейроподобный элемент?

2.Для чего нужна нелинейная функция нейроподобного элемента?

3.Какие типы архитектур нейронных сетей вам известны?

4.Чем обучение сети с учителем отличается от обучения сети без учителя?

5.В чем суть концепции Хебба?