- •Устройство биологического нейрона и его математическая модель.
- •Детерминированная и стохастическая модели искусственного нейрона
- •Нейрон с сигмоидальной функцией активации
- •Стохастическая модель нейрона
- •Представление знаний.
- •Классы задач, решаемые нс. Примеры.
- •Классификация нс по архитектуре.
- •Однослойные сети прямого распространения
- •Многослойные сети прямого распространения
- •7.3.3.Рекуррентные сети
- •Классификация нс по парадигме обучения.
- •Обучение с учителем
- •Обучение без учителя
- •7.Понятие обучающей выборки (вектора)
- •8.Применимость различных активационных функций нейрона
- •1.1.1.1Активационные функции
- •9.Однослойные сети прямого распространения
- •10.Многослойные сети прямого распространения
- •11.Рекуррентные сети
- •12.Парадигмы обучения нс. Обучение с учителем. Применимость, примеры.
- •Обучение с учителем
- •13.Парадигмы обучения нс. Обучение без учителя. Применимость, примеры.
- •14.Парадигмы обучения нс. Смешанное обучение. Применимость, примеры.
- •15.Парадигмы обучения нс. Обучение Хебба. Математическая модель
- •16. Парадигмы обучения нс. Гипотеза ковариации. Математическая модель
- •17.Парадигмы обучения нс. Конкурентное обучение. Математическая модель
- •18.Парадигмы обучения нс. Обучение методом обратного распространения ошибки. Математическая модель
- •19. Парадигмы обучения нс. Обучение Больцмана. Математическая модель
- •20. Персептрон Розенблатта. Алгоритм обучения однослойного персептрона
- •21. Персептрон Розенблатта. Теорема о сходимости и «зацикливании» персептрона.
- •22. Персептрон Розенблатта. Дельта -правило
- •23. Многослойный персептрон. Теорема о двуслойности персептрона
- •24. Самоорганизующиеся карты Кохонена. Алгоритм обучения нс
- •Самоорганизующиеся карты Кохонена. Квантование обучающего вектора.
- •1.2Квантование обучающего вектора (Learning VectorQuantization)
- •Самоорганизующиеся карты Кохонена. Кластеризация
- •Сеть Хопфилда. Архитектура, обучение
- •1.2.1Алгоритм функционирования сети
- •1.2.2Архитектура сети
- •1.2.3Обучение сети
- •28. Сеть Хемминга. Архитектура, обучение
- •1.2.4Алгоритм функционирования сети Хемминга
- •Rbf сети. Архитектура. Применимость.
- •Rbf сети. Алгоритм обучения. Расчет опорных точек, параметра рассеяния и выходной весовой матрицы
- •Rbf сети. Аппроксимация
- •Ассоциативная сеть. Сжатие информации
- •Структура дап
Классификация нс по архитектуре.
Классифицируют НС по архитектуре следующим образом:
Однослойные сети прямого распространения
Однослойная сеть прямого распространения представляет собой частный случай многослойной сети. Такая сеть состоит из узлов источника информации и одного слоя нейронов, который является одновременно входным слоем и выходным (рис. 7.7.).
Рис. 7.7. Однослойная сеть прямого распространения
Такие сети называют сетями прямого распространения или ациклическими сетями.
Многослойные сети прямого распространения
Многослойные сети прямого распространения характеризуются наличием одного или нескольких скрытых слоев (рис. 7.8).
Рис. 7.8. Многослойная сеть прямого распространения
Узлы скрытых слоев называются скрытыми нейронами. В многослойных сетях прямого распространения сигнал распространяется послойно: узлы источника формируют входной сигнал для первого (входного) слоя нейронов, выходной сигнал первого слоя нейронов используется в качестве входного сигнала для второго (скрытого) слоя нейронов и т.д. вплоть до последнего (выходного) слоя нейронов.
Сеть, в которой каждый нейрон скрытого слоя соединяется со всеми нейронами соседних слоев, называется полносвязной. Если некоторые синаптические связи отсутствуют, сеть называется неполносвязной.
7.3.3.Рекуррентные сети
Рекуррентные сети отличаются от сетей прямого распространения наличием, по крайней мере, одной обратной связи. На рис 7.9 показана архитектура простейшей рекуррентной сети.
Рис. 7.9.Рекуррентная сеть
Здесь - это оператор единичной задержки. В общем случае оператор задержки определяется следующим образом:
, (7.13)
где и - значения на и шаге соответственно.
Классификация нс по парадигме обучения.
-
Парадигма
Обучающее правило
Архитектура
Алгоритм обучения
Задача
С учителем
Коррекция ошибки
Однослойный и многослойный персептрон
Алгоритмы обучения персептрона
Классификация образов Аппроксимация функций Предсказание, управление
Больцман
Рекуррентная
Алгоритм обучения Больцмана
Классификация образов
Хебб
Многослойная прямого распространения
Линейный дискриминантный анализ
Анализ данных Классификация образов
Соревнование
Соревнование
Векторное квантование
Категоризация внутри класса Сжатие данных
Без учителя
Коррекция ошибки
Многослойная прямого распространения
Проекция Саммона
Категоризация внутри класса Анализ данных
Хебб
Прямого распространения или соревнование
Анализ главных компонентов
Анализ данных Сжатие данных
Сеть Хопфилда
Обучение ассоциативной памяти
Ассоциативная память
Соревнование
Соревнование
SOM Кохонена
SOM Кохонена
Категоризация Анализ данных
Смешанная
Коррекция ошибки и соревнование
Сеть RBF
Алгоритм обучения RBF
Классификация образов Аппроксимация функций Предсказание, управление