Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ТПР. Всё в 1 файле / Нейрокомпьютеры.pdf
Скачиваний:
199
Добавлен:
15.09.2014
Размер:
2.15 Mб
Скачать

Введение...................................................................................................................................................

2

Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая

 

интерпретация. .........................................................................................................................................

4

Задача обучения нейрона. Виды обучения нейрона. Правило Хебба. Дельта-правило.

 

Геометрическая интерпретация..............................................................................................................

6

Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач,

 

решаемых нейронными сетями. .............................................................................................................

9

Задача обучения нейронной сети, отличие от задачи обучения нейрона. Проблемы. Примеры

 

алгоритмов и методов обучения...........................................................................................................

11

Структура альфа-персептрона. Задача, решаемая альфа-персептроном. Гамма-персептрон,

 

различия. Задачи, решаемые персептронами без обратных и перекрёстных связей. .....................

12

Градиентные методы. ............................................................................................................................

14

Математическое обоснование метода обратного распространения ошибки. Алгоритм обратного

распространения ошибки. .....................................................................................................................

14

Вывод формулы для расчёта адаптивного коэффициента обучения в алгоритме обратного

 

распространения ошибки. .....................................................................................................................

16

Вывод формулы для расчёта адаптивного шага обучения для нерекуррентной линейной

 

нейронной сети.......................................................................................................................................

18

Алгоритм послойного обучения. Назначение и отличие от алгоритма обратного

 

распространения ошибки. .....................................................................................................................

18

Алгоритм многократного распространения ошибки. Назначение и отличие от алгоритма

 

обратного распространения ошибки....................................................................................................

20

Задача предсказания числовых последовательностей с помощью нейронных сетей. Особенности

устройства нейронных сетей для предсказания числовых последовательностей...........................

20

Реккурентные нейронные сети. Контекстный нейрон. Обучение. Сеть Элмана. Сеть Джордана.21

Рециркуляционные нейронные сети. Линейная рециркуляционная сеть. Задача, решаемая

 

линейной рециркуляционной сетью (метод главных компонент). ...................................................

24

Алгоритмы обучения и функционирования линейной рециркуляционной сети. ...........................

28

Релаксационные нейронные сети. Синхронная сеть Хопфилда. Непрерывное и дискретное

 

состояние. Структура, обучение, энергия, функционирование. .......................................................

32

Релаксационные нейронные сети. Асинхронная сеть Хопфилда. Непрерывное и дискретное

 

состояние. Структура, обучение, энергия, функционирование. .......................................................

35

Сеть Хэмминга. Назначение, обучение и функционирование. .........................................................

36

Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда.

 

Функционирование, отличие. ...............................................................................................................

40

Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование.

..................................................................................................................................................................

41

Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной

 

памяти с модифицированной структурой. ..........................................................................................

43

Сеть адаптивного резонанса. Назначение, структура, обучение и функционирование. ................

47

Структура APT ...............................................................................................................................

47

Функционирование APT ...............................................................................................................

54

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT...............................................................................................

57

ЗАКЛЮЧЕНИЕ..............................................................................................................................

59

Устройство и структура нейронных сетей для решения задач классификации и кластеризации.

 

Правила обучения: WTA и CWTA.......................................................................................................

59

Структура когнитрона, неокогнитрона и свёрточных нейронных сетей, отличия. Назначение

 

когнитрона, неокогнитрона и свёрточных нейронных сетей. ...........................................................

62

НЕОКОГНИТРОН.........................................................................................................................

67

Псевдооптическая нейронная сеть. Интерферирующий нейрон, устройство. Назначение,

 

структура и функционирование сети...................................................................................................

71

Машина Больцмана, назначение. Устройство и функционирование. ..............................................

73

Предетекторы и детекторы. Поле (карта) детекторов. Детекторы новизны и тождества. Схема

 

активного анализа на основе нейроподобных элементов..................................................................

73

Аппаратная реализация нейронных сетей. Процедура проектирования систолических массивов

(процессоров), на основе структуры сети. Систолические процессоры для двухслойной

 

нейронной сети (первый слой – рецепторы). Эффективность. Предпочтение по эффективности.

........................................................................................................Ошибка! Закладка не определена.

Систолический массив с разнонаправленными связями. Сравнение по эффективности с

 

процессорами с однонаправленными связями....................................................................................

77

Матричный систолический процессор. Сравнение по эффективности............................................

78

Систолические массивы для многослойных нейронных сетей. Структура систолического

 

массива, объединяющего различные систолические процессоры. Эффективность. ......................

79

Систолические массивы для многослойных нейронных сетей. Структура систолического

 

массива, объединяющего идентичные систолические процессоры. Эффективность.....................

80

Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда).

..................................................................................................................................................................

80

Методы обеспечения отказоустойчивости. Скользящее резервирование. ......................................

81

Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для

 

неоднородного потока входных данных. ............................................................................................

82

Нечёткие нейронные сети. Структура, функционирование, обучение. ...........................................

82

Литература..............................................................................................................................................

87

Введение

Теория нейронных сетей включает широкий круг вопросов из разных областей науки: биофизики, математики, информатики, схемотехники и технологии. Искусственные нейронные сети — набор математических и алгоритмических методов для решения широкого круга задач.

Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности лучше выполняются обычной ЭВМ. К задачам, успешно решаемым нейронными сетями на данном этапе их развития относятся:

распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления;

ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;

формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени: применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов;

системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами

разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы;

принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере.

Развитие искусственных нейронных сетей вдохновляется биологией. То есть рассматривая сетевые конфигурации и алгоритмы, исследователи мыслят их в терминах организации мозговой деятельности. Но на этом аналогия может и закончиться. Знания о работе мозга на данный момент столь ограничены, что мало бы нашлось руководящих ориентиров для тех, кто стал бы ему подражать. Поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Во многих случаях это приводит к необходимости отказа от биологического правдоподобия, мозг становится просто метафорой, и создаются сети, невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.

Несмотря на то, что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравниваться с мозгом. Их функционирование часто напоминает человеческое познание, поэтому трудно избежать этой аналогии.

Мозг человека состоит из белого и серого веществ: белое – это тела нейронов, а серое – это соединительная ткань между нейронами, или аксоны и дендриты. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсами входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Синапсы отличаются друг от друга, по этой причине импульсы одинаковой величины, поступающие на входы нервной клетки через различные синапсы, могут возбуждать ее в разной степени. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по единственному, разветвляющемуся на конце аксону сигнал другим нейронам.

Аксон контактирует с телами и дендритами других нейронов, образуя очередные синапсы (см. рис. 1).

Рис. 1. Биологический нейрон