- •Устройство биологического нейрона и его математическая модель.
- •Детерминированная и стохастическая модели искусственного нейрона
- •Нейрон с сигмоидальной функцией активации
- •Стохастическая модель нейрона
- •Представление знаний.
- •Классы задач, решаемые нс. Примеры.
- •Классификация нс по архитектуре.
- •Однослойные сети прямого распространения
- •Многослойные сети прямого распространения
- •7.3.3.Рекуррентные сети
- •Классификация нс по парадигме обучения.
- •Обучение с учителем
- •Обучение без учителя
- •7.Понятие обучающей выборки (вектора)
- •8.Применимость различных активационных функций нейрона
- •1.1.1.1Активационные функции
- •9.Однослойные сети прямого распространения
- •10.Многослойные сети прямого распространения
- •11.Рекуррентные сети
- •12.Парадигмы обучения нс. Обучение с учителем. Применимость, примеры.
- •Обучение с учителем
- •13.Парадигмы обучения нс. Обучение без учителя. Применимость, примеры.
- •14.Парадигмы обучения нс. Смешанное обучение. Применимость, примеры.
- •15.Парадигмы обучения нс. Обучение Хебба. Математическая модель
- •16. Парадигмы обучения нс. Гипотеза ковариации. Математическая модель
- •17.Парадигмы обучения нс. Конкурентное обучение. Математическая модель
- •18.Парадигмы обучения нс. Обучение методом обратного распространения ошибки. Математическая модель
- •19. Парадигмы обучения нс. Обучение Больцмана. Математическая модель
- •20. Персептрон Розенблатта. Алгоритм обучения однослойного персептрона
- •21. Персептрон Розенблатта. Теорема о сходимости и «зацикливании» персептрона.
- •22. Персептрон Розенблатта. Дельта -правило
- •23. Многослойный персептрон. Теорема о двуслойности персептрона
- •24. Самоорганизующиеся карты Кохонена. Алгоритм обучения нс
- •Самоорганизующиеся карты Кохонена. Квантование обучающего вектора.
- •1.2Квантование обучающего вектора (Learning VectorQuantization)
- •Самоорганизующиеся карты Кохонена. Кластеризация
- •Сеть Хопфилда. Архитектура, обучение
- •1.2.1Алгоритм функционирования сети
- •1.2.2Архитектура сети
- •1.2.3Обучение сети
- •28. Сеть Хемминга. Архитектура, обучение
- •1.2.4Алгоритм функционирования сети Хемминга
- •Rbf сети. Архитектура. Применимость.
- •Rbf сети. Алгоритм обучения. Расчет опорных точек, параметра рассеяния и выходной весовой матрицы
- •Rbf сети. Аппроксимация
- •Ассоциативная сеть. Сжатие информации
- •Структура дап
16. Парадигмы обучения нс. Гипотеза ковариации. Математическая модель
Гипотеза ковариации
Одним из способов преодоления ограничений гипотезы Хебба является использование гипотезы ковариации (covariance hypothesis). Согласно этой гипотезе, предсинаптический и постсинаптический сигналы и формуле (1*) заменяются отклонениями этих сигналов от их средних значении на данном отрезке времени. Обозначим символами х(с чертой) и у(с чертой) усредненные по времени значения предсинаптического xj и постсинаптического уk сигналов. Согласно гипотезе ковариации, изменение синаптического веса вычисляется по формуле
(1*)
где ) — параметр скорости обучения. Средние значения x и у содержат предсинаптический и постсинаптический пороги, определяющие знак синаптической модификации. В частности, гипотеза ковариации обеспечивает следующее.
Сходимость к нетривиальному состоянию, которое достигается при = и
Прогнозирование усиления (potentiation) и ослабления (depression) синаптической связи.
При внимательном исследовании выражения (1) можно сделать следующие выводы.
Синаптический вес связи усиливается при высоком уровне предсинаптического и постсинаптического сигналов, т.е. в том случае, когда одновременно удовлетворяются следующие условия: и .
Синаптический вес ослабляется в следующих ситуациях.
Предсинаптическая активность (т.е. ) не вызывает существенной постсинаптической активности ( ).