Министерство образования и науки Российской Федерации

Пензенский государственный университет

В.С. Безяев, Е.Н. Прошкина

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Учебное пособие

Наградной логотип вуза

Издательство Пензенского государственного университета Пенза 2012

УДК 681.3

         С34

Рецензенты:

Зам. генерального директора по научно-технической политике

ОАО «Концерн Вега», доктор военных наук, профессор,

заслуженный деятель науки РФ

А.Т. Силкин

Доктор технических наук, профессор кафедры процессов управления информационной безопасности Пермского государственного национального исследовательского университета

О.Г. Пенский

С34                 Безяев В.С., Прошкина Е.Н. Искусственные нейронные сети [Текст]: Учебное пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2012. – 84 с.: 32 ил., библиогр. 23 назв.

Представлены основные разделы теории искусственных нейронных сетей. Основное внимание уделяется алгоритмам обучения и их применению для обработки информации. Дается обзор и описание важнейших методов обучения сетей различной структуры.

Учебное пособие подготовлено на кафедре «Математическое обеспечение и применение ЭВМ» и предназначено для студентов специальности 230105.65 – «Программное обеспечение вычислительной техники и автоматизированных систем» и магистрантов специальности 231000.68 – «Программная инженерия» при изучении дисциплин «Нейрокомпьютерные системы», «Системы искусственного интеллекта» и «Системное программное обеспечение».

УДК 681.3

© Издательство Пензенского государственного     университета, 2012

© Прошкина Е.Н., 2012

Оглавление

Введение 4

1. Аналитические технологии 6

1.1. Определение аналитических технологий. 6

1.2. Традиционные технологии 6

1.3.Новые технологии 9

2. Искусственные нейронные сети 11

2.1. Принципы работы мозга 11

2.2. Искусственная нейронная сеть 14

2.3 Принципы обучения искусственной нейронной сети 16

2.4. Сбор данных для нейронной сети 18

2.5. Переобучение и обобщение 21

3. Модели нейронов и методы их обучения 25

3.1. Персептрон 25

3.2. Сигмоидальный нейрон 28

3.3. Нейрон типа «адалайн» 31

3.4. Инстар и оутстар Гроссберга 33

3.5. Нейроны типа WTA 36

3.6. Модель нейрона Хебба 38

3.7. Стохастическая модель нейрона 39

4.Алгоритмы обучения искусственных нейронных сетей 41

4.1. Многослойный персептрон 41

4.2. Алгоритм обратного распространения ошибки 43

4.3. Стохастические алгоритмы обучения искусственных нейронных сетей 46

4.4. Настройка числа нейронов в скрытых слоях многослойных сетей в процессе обучения 52

5. Виды искусственных нейронных сетей 56

5.1. Линейные сети 57

5.2. Радиальные нейронные сети 60

5.3. Сети с самоорганизацией на основе конкуренции 65

5.4. Модели ассоциативной памяти 71

5.5. Когнитивные карты 75

6. Способы внедрения новых аналитических технологий 78

Заключение 81

Список литературы 83

Введение

В современном мире прогресс производительности программиста практически достигается только в тех случаях, когда часть интеллектуальной нагрузки берут на себя компьютеры. Одним из способов достигнуть максимального прогресса в этой области, является "искусственный интеллект", когда компьютер берет на себя не только однотипные, многократно повторяющиеся операции, но и сам сможет обучаться. Кроме того, создание полноценного "искусственного интеллекта" открывает перед человечеством новые горизонты развития.

Термин интеллект (intelligence) происходит от латинского intellectus — что означает ум, рассудок, разум; мыслительные способности человека. Соответственно искусственный интеллект (artificialintelligence) — ИИ (AI) обычно толкуется как свойство автоматических систем брать на себя отдельные функции интеллекта человека, например, выбирать и принимать оптимальные решения на основе ранее полученного опыта и рационального анализа внешних воздействий.

Нейронные сети – это раздел искусственного интеллекта, в котором для обработки сигналов используются явления, аналогичные происходящим в нейронах живых существ. Важнейшая особенность сети, свидетельствующая о ее широких возможностях и огромном потенциале, состоит в параллельной обработке информации всеми звеньями. При громадном количестве межнейронных связей это позволяет значительно ускорить процесс обработки информации. Кроме того, при большом числе межнейронных связей сеть приобретает устойчивость к ошибкам, возникающим на некоторых линиях [4].

Другое не менее важное свойство – способность к обучению и обобщению накопленных знаний. Нейронная сеть обладает чертами искусственного интеллекта. Натренированная на ограниченном множестве данных сеть способна обобщать полученную информацию и показывать хорошие результаты на данных, не использовавшихся в процессе обучения.

Различные способы объединения нейронов между собой и организации их взаимодействия привели к созданию сетей разных типов. Каждый тип сети, в свою очередь, связан с соответствующим методом подбора весов межнейронных связей. Среди множества существующих видов сетей в качестве важнейших можно выделить многослойный персептрон, радиальные сети, сети с самоорганизацией на основе конкуренции нейронов, а также рекуррентные сети, в которых имеются сигналы обратной связи.

В данном пособии уделяется внимание важнейшим перечисленным выше типам искусственных нейронных сетей, методам их обучения и практического использования при решении конкретных задач обработки информации.

1. Аналитические технологии

1.1. Определение аналитических технологий.

Аналитические технологии - это методики, которые на основе каких-либо моделей, алгоритмов, математических теорем позволяют по известным данным оценить значения неизвестных характеристик и параметров.

Простейший пример аналитической технологии - теорема Пифагора, которая позволяет по длинам сторон прямоугольника определить длину его диагонали. Эта технология основана на известной формуле с²=а²+b².

Другим примером аналитической технологии являются способы, с помощью которых обрабатывает информацию человеческий мозг. Даже мозг ребенка может решать задачи, неподвластные современным компьютерам, такие как распознавание знакомых лиц в толпе или эффективное управление несколькими десятками мышц при игре в футбол.

Уникальность мозга состоит в том, что он способен обучаться решению новых задач - игре в шахматы, вождению автомобиля и т.д. Тем не менее, мозг плохо приспособлен к обработке больших объемов числовой информации. Для решения этих задач необходимы дополнительные методики и инструменты.

Аналитические технологии нужны в первую очередь людям, принимающим важные решения – руководителям, аналитикам, экспертам, консультантам. Как правило, для реальных задач бизнеса и производства не существует четких алгоритмов решения. Раньше руководители и эксперты решали такие задачи только на основе личного опыта. С помощью аналитических технологий строятся системы, позволяющие существенно повысить эффективность решений.