Ф. Уоссермен

Нейрокомпьютерная техника: Теория и практика

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.

Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

ОГЛАВЛЕНИЕ

Предисловие 4

БЛАГОДАРНОСТИ 4

Введение 5

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5

ИСТОРИЧЕСКИЙ АСПЕКТ 7

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11

ВЫВОДЫ 12

Глава 1. Основы искусственных нейронных сетей 14

БИОЛОГИЧЕСКИЙ ПРОТОТИП 14

ИСКУССТВЕННЫЙ НЕЙРОН 16

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22

ПРОЛОГ 25

Глава 2. Персептроны 26

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28

ОБУЧЕНИЕ ПЕРСЕПТРОНА 36

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 37

Глава 3. Процедура обратного распространения 41

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42

Обзор обучения 44

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 51

ПРИМЕНЕНИЯ 52

ПРЕДОСТЕРЕЖЕНИЕ 52

Глава 4. Сети встречного распространения 55

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55

СТРУКТУРА СЕТИ 55

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 56

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 58

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 64

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66

ОБСУЖДЕНИЕ 67

Глава 5. Стохастические методы 68

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76

Глава 6. Сети Хопфилда 81

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82

ПРИЛОЖЕНИЯ 90

ОБСУЖДЕНИЕ 95

ВЫВОДЫ 97

Глава 7. Двунаправленная ассоциативная память 98

СТРУКТУРА ДАП 99

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100

КОДИРОВАНИЕ АССОЦИАЦИЙ 102

ЕМКОСТЬ ПАМЯТИ 104

НЕПРЕРЫВНАЯ ДАП 105

АДАПТИВНАЯ ДАП 106

КОНКУРИРУЮЩАЯ ДАП 107

ЗАКЛЮЧЕНИЕ 107

Глава 8. Адаптивная резонансная теория 108

АРХИТЕКТУРА APT 110

РЕАЛИЗАЦИЯ APT 118

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 122

ХАРАКТЕРИСТИКИ APT 124

ЗАКЛЮЧЕНИЕ 127

Глава 9. Оптические нейронные сети 129

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 130

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 137

ЗАКЛЮЧЕНИЕ 143

Глава 10. Когнитрон и неокогнитрон 144

КОГНИТРОН 145

НЕОКОГНИТРОН 155

ЗАКЛЮЧЕНИЕ 162

Приложение А. Биологические нейронные сети 164

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 164

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 165

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 173

Приложение Б. Алгоритмы обучения 175

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 175

МЕТОД ОБУЧЕНИЯ ХЭББА 175

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 178

ОБУЧЕНИЕ ПЕРСЕПТРОНА 179

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 181

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 181

САМООРГАНИЗАЦИЯ 182