Министерство образования и науки Российской федерации

Алтайский государственный технический университет

им. И.И. Ползунова

Д.Е. Кривобоков

Интеллектуальные средства измерений

Часть I Нейрокомпьютерные сети

Учебное пособие

по дисциплине ИСИ

для студентов, обучающихся по специальности

«Информационно измерительная техника»

Барнаул

2007

Содержание

Содержание 2

Введение 3

1 Теоретические основы нейронных сетей 4

1.1 Обзор основных свойств и функций нейронных сетей 4

1.1.1 Свойства искусственных нейронных сетей 4

1.1.2 Обучение нейронных сетей 4

1.1.3 Обобщение 4

1.1.4 Абстрагирование 5

1.1.5 Применимость 5

1.2 Терминология, обозначения и схематическое изображение искусственных нейронных сетей 5

1.3 Структура нейроных сетей 7

1.4 Обучение искусственных нейронных сетей 10

1.4.1 Обзор основных свойств обучения 11

1.4.1.1 Цель обучения 11

1.4.1.2 Обучение с учителем 11

1.4.1.3 Обучение без учителя 11

1.4.1.4 Алгоритмы обучения 12

1.4.2 Процедура обратного распространения 13

1.4.2.1 Сетевые конфигурации 13

1.4.2.2 Многослойная сеть 14

1.4.2.3 Проход вперед 16

1.4.2.4 Обратный проход. Подстройка весов выходного слоя 17

1.4.2.5 Подстройка весов скрытого слоя 18

1.4.2.6 Добавление нейронного смещения 18

1.4.2.7 Импульс 19

1.4.2.8 Паралич сети 20

1.4.2.9 Локальные минимумы 20

1.4.2.10 Размер шага 20

1.4.2.11 Временная неустойчивость 20

1.4.3 Сети встречного распространения 21

1.4.3.1 Структура сети 21

1.4.3.2 Нормальное функционирование 22

1.4.3.2.1 Слои Кохоненна 22

1.4.3.2.2 Слой Гроссберга 23

1.4.3.3 Обучение слоя Кохонена 23

1.4.3.3.1 Предварительная обработка входных векторов 24

1.4.3.3.2 Выбор начальных значений весовых векторов 25

1.4.3.3.3 Режим интерполяции 27

1.4.3.4 Сеть встречного распространения полностью 28

1.4.4 Стохастические методы 29

1.4.4.2 Больцмановское обучение 33

1.4.5 Сети Хопфилда 34

1.4.5.1 Бинарные системы 35

1.4.5.2 Устойчивость 37

1.4.5.4 Обобщенные сети 38

Литература 40

Введение

Впервые о нейронных сетях заговорили в сороковых годах прошлого века. Считается, что теория нейронных сетей, как научное направление, была обозначена в работе Мак Каллока и Питтса в 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети.

Среди основополагающих работ следует выделить модель Д. Хэбба, который в 1949 г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей, а также теоремы М. Минского и исследования им ряда типовых задач, в том числе, популярной задачи «Исключающего «ИЛИ». [1].

В 1958 г. Ф. Розенблатт предложил нейронную сеть, названную персептроном [2], и построил первый нейрокомпьютер «Марк-1». Персептрон был предназначен для классификации объектов и получал на этапе обучения от «учителя» сообщение, к какому классу принадлежит предъявляемый объект. Обученный персептрон был способен классифицировать объекты, в том числе, не использовавшиеся при обучении, делая при этом очень мало ошибок.

В настоящее время ожидается значительный технологический рост в области проектирования нейронных сетей и нейрокомпьютеров. Связано это с тем, что сложность управляемых, анализируемых и исследуемых систем с каждым днём повышается, что заставляет всё большее внимание уделять «неалгоритмическим» системам, способным самостоятельно устанавливать связь между входными параметрами, находить оптимальные режимы и условия управления и т.д. За последние годы уже открыто немало новых возможностей нейронных сетей, а работы в данной области становятся важным вкладом в промышленность, науку и технологии, имеют большое экономическое значение [3].

Не секрет, что отправной точкой для создания и совершенствования искусственных нейронных сетей является биологический мозг, в частности – мозг человека. Однако все попытки понять и моделировать объективные процессы обработки информации мозгом человека пока особого успеха не имели. Несмотря на то, что разработки по нейронному моделированию ведутся нейробиологами уже более 50 лет, нет ни одной области мозга, где процесс обработки информации был бы ясен до конца.

Предполагается, что открытие биологических основ обработки информации вызовет существенную активизацию работ в построении искусственного интеллекта. Ожидается, что новый проект будет способен достаточно быстро дать значительный экономический эффект и, наконец-то, появится возможность синтезировать «умные» машины и системы, способные вместо людей, но не менее ответственно и инициативно выполнять монотонные, скучные и опасные задания . [1].