1. Устройство биологического нейрона и его математическая модель.

2. Детерминированная и стохастическая модели искусственного нейрона

3. Представление знаний.

4. Классы задач, решаемые НС. Примеры.

5. Классификация НС по архитектуре.

6. Классификация НС по парадигме обучения.

7. Понятие обучающей выборки (вектора)

8. Применимость различных активационных функций нейрона

9. Однослойные сети прямого распространения

10. Многослойные сети прямого распространения

11. Рекуррентные сети

12. Парадигмы обучения НС. Обучение с учителем. Применимость, примеры.

13. Парадигмы обучения НС. Обучение без учителя. Применимость, примеры.

14. Парадигмы обучения НС. Смешанное обучение. Применимость, примеры.

15. Парадигмы обучения НС. Обучение Хебба. Математическая модель

16. Парадигмы обучения НС. Гипотеза ковариации. Математическая модель

17. Парадигмы обучения НС. Конкурентное обучение. Математическая модель

18. Парадигмы обучения НС. Обучение методом обратного распространения ошибки. Математическая модель

19. Парадигмы обучения НС. Обучение Больцмана. Математическая модель

20. Персептрон Розенблатта. Алгоритм обучения однослойного персептрона.

21. Персептрон Розенблатта. Теорема о сходимости и «зацикливании» персептрона.

22. Персептрон Розенблатта. Дельта -правило

23. Многослойный персептрон. Теорема о двуслойности персептрона

24. Самоорганизующиеся карты Кохонена. Алгоритм обучения НС Кохонена

25. Самоорганизующиеся карты Кохонена. Квантование обучающего вектора.

26. Самоорганизующиеся карты Кохонена. Кластеризация

27. Сеть Хопфилда. Архитектура, обучение

28. Сеть Хемминга. Архитектура, обучение

29. RBF сети. Архитектура. Применимость.

30. RBF сети. Алгоритм обучения. Расчет опорных точек, параметра рассеяния и выходной весовой матрицы

31. RBF сети. Аппроксимация

32. Ассоциативная сеть. Сжатие информации.

1. Устройство биологического нейрона и его математическая модель.

Базовый элемент нервной системы – это нейроном. Состоит из: тело клетки (сом), а также исходящие из него два вида отростков: дендриты, по которым в нейрон поступает информация, и аксон, по которому нейрон передает информацию (рис. 7.1). Каждый нейрон имеет только один аксон, по которому он может передавать информацию нескольким другим нейронам.

Рис. 7.1 Биологический нейрон

Один нейрон принимает возбуждения от огромного количества нейронов. Каждый нейрон передает возбуждение через нервные стыки (синапсы). Синапсы функционируют как репитеры информации, в результате работы которых возбуждение может усиливаться или ослабляться. В результате, к нейрону приходят сигналы, оказывающие как тормозящее, так и возбуждающее воздействие.

Искусственный нейрон состоит из синапсов, каждому из которых соответствует определенный вес синаптической связи, сумматора и функции активации. Введем следую щие обозначения: - входные сигналы, приходящие от других нейронов; - синаптические веса нейрона; - пороговое значение (порог); - выходной сигнал нейрона; - функция активации. На рис. 7.2 схематически представлена модель искусственного нейрона.

Рис. 7.2 искусственный нейрон

Математически эту модель можно записать в виде:

(7.1)

Величину , получаемую на выходе сумматора, называют индуцированным локальным полем нейрона.

В настоящее время чаще всего используется сигмоидальная функция активации, которая определяется как (см. рис. 7.4 a):

(7.4)

Следует отметить, что при сигмоидальная функция активации стремится к пороговой функции.

Рис. 7.4 функции активации

В качестве альтернативы сигмоидальной функции активации иногда применяют функцию гиперболического тангенса (рис. 7.4 b):

(7.5)

2. Детерминированная и стохастическая модели искусственного нейрона

Персептрон Розенблатта (модель МакКаллока-Питтса)

Персептрон Розенблатта представляет собой искусственный нейрон со ступенчатой функцией активации, который стал отправной точкой для построения первых искусственных нейронных сетей.

Задача, решаемая с помощью персептрона Розенблатта, состоит в классификации векто ра в смысле отнесения его к одному из двух классов и . Вектор относится к классу , если выходной сигнал принимает значение 0, и к классу , если выходной сиг нал равен 1. При этом персептрон разделяет мерное пространство входных сигналов на два полупространства, разделяемых мерной гиперплоскостью, описываемой уравнением:

(7.6)

Эта гиперплоскость называется решающей границей.

В случае, когда размерность пространства входных сигналов , решающая граница это прямая, описываемая уравнением (рис 7.5):

(7.7)

Следует отметить, что персептрон Розенблатта можно использовать для решения весьма ограниченного класса задач, так как он может классифицировать только линейно разделимые входные сигналы.