Ф. Уоссермен

Нейрокомпьютерная техника: Теория и практика

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.

Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

ОГЛАВЛЕНИЕ

Предисловие 4

БЛАГОДАРНОСТИ 4

Введение 5

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5

ИСТОРИЧЕСКИЙ АСПЕКТ 7

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11

ВЫВОДЫ 12

Глава 1. Основы искусственных нейронных сетей 14

БИОЛОГИЧЕСКИЙ ПРОТОТИП 14

ИСКУССТВЕННЫЙ НЕЙРОН 16

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22

ПРОЛОГ 25

Глава 2. Персептроны 26

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28

ОБУЧЕНИЕ ПЕРСЕПТРОНА 35

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 36

Глава 3. Процедура обратного распространения 40

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 40

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41

Обзор обучения 43

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 50

ПРИМЕНЕНИЯ 51

ПРЕДОСТЕРЕЖЕНИЕ 51

Глава 4. Сети встречного распространения 54

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 54

СТРУКТУРА СЕТИ 54

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 55

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 57

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 63

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 63

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 65

ОБСУЖДЕНИЕ 66

Глава 5. Стохастические методы 67

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 67

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 74

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 75

Глава 6. Сети Хопфилда 80

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 81

ПРИЛОЖЕНИЯ 89

ОБСУЖДЕНИЕ 94

ВЫВОДЫ 96

Глава 7. Двунаправленная ассоциативная память 97

СТРУКТУРА ДАП 98

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 99

КОДИРОВАНИЕ АССОЦИАЦИЙ 101

ЕМКОСТЬ ПАМЯТИ 103

НЕПРЕРЫВНАЯ ДАП 104

АДАПТИВНАЯ ДАП 105

КОНКУРИРУЮЩАЯ ДАП 106

ЗАКЛЮЧЕНИЕ 106

Глава 8. Адаптивная резонансная теория 107

АРХИТЕКТУРА APT 108

РЕАЛИЗАЦИЯ APT 117

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 121

ХАРАКТЕРИСТИКИ APT 123

ЗАКЛЮЧЕНИЕ 126

Глава 9. Оптические нейронные сети 128

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 129

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 136

ЗАКЛЮЧЕНИЕ 142

Глава 10. Когнитрон и неокогнитрон 143

КОГНИТРОН 144

НЕОКОГНИТРОН 154

ЗАКЛЮЧЕНИЕ 161

Приложение А. Биологические нейронные сети 163

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 163

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 164

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 172

Приложение Б. Алгоритмы обучения 174

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 174

МЕТОД ОБУЧЕНИЯ ХЭББА 174

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 177

ОБУЧЕНИЕ ПЕРСЕПТРОНА 178

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 180

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 180

САМООРГАНИЗАЦИЯ 181