3. Базовийпроцесорнийелемент.

В якості центрального процесорного елемента нейромережі виступає нейронний елемент, що здійснює нелінійне перетворення над сигналом його внутрішнього збудження. Незалежно від способу навчання нейромережі, для кожної точки-реалізації навчальної множини можливо вирахувати сигнали внутрішнього збудження всіх нейронів.

Модель нейрона - процессорного элемента нейронной сети, представлена на рис. В соответствии с вышеизложенным нейрон имеет набор входов, на которые поступают входные сигналы (Si,...,Sn). Входы характеризуются вектором весовых коэффициентов (W1,...,Wn). На рис.2,6 показаны некоторые возможные виды переходной функции f, вычисляемой от суммы взвешенных входных сигналов: пороговая, сигмовидная, псевдолинейная.

В зависимости от вида переходной функции нейроны делятся на два класса: детерминистские и вероятностные.

Различают два типа детерминистских нейронов:

1. Нейрон, в теле которого вычисляется скалярное произведение, (полностью соответствует рис.2, а). Это наиболее широко используемый тип нейрона. Он применяется в нейронных сетях для решения задач классификации и прогнозирования, а также для создания моделей ассоциативной памяти.  2. Нейрон "с ближайшим соседом", вычисляющий расстояние между входным вектором и вектором весовых коэффициентов и передающий полученное значение на выход. Такие нейроны применяют в нейронных сетях для решения задач квантования векторов, кластеризации, составления кодовых книг и т.д.

4. Різновиди функційактивації нейрона.

Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал  , получаемый на выходе входного сумматора  . Наиболее часто используются следующие функции активации.

1. Единичный скачок или жесткая пороговая функция

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

2. Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

3. Сигмоидальная функция или сигмоид

Монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. 

Примером сигмоидальной функции активации может служить логистическая функция, задаваемая следующим выражением (1):

Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением: (2)

• ; (2)

5. Перцепрони.

Перцептрон — математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом. Несмотря на свою простоту, перцептрон способен обучаться и решать довольно сложные задачи.

Перцептрон состоит из трёх типов элементов, а именно: поступающие от сенсоров сигналы передаютсяассоциативным элементам, а затем реагирующим элементам. Таким образом, перцептроны позволяют создать набор«ассоциаций» между входными стимулами и необходимой реакцией на выходе. В биологическом плане это соответствует преобразованию, например, зрительной информации в физиологический ответ от двигательных нейронов. Согласно современной терминологии, перцептроны могут быть классифицированы как искусственные нейронные сети:

1. с одним скрытым слоем;

2. с пороговой передаточной функцией;

3. с прямым распространением сигнала.

Элементарный перцептрон состоит из элементов 3-х типов: S-элементов, A-элементов и одного R-элемента:

• S-элементы — это слой сенсоров, или рецепторов. В физическом воплощении они соответствуют, например, светочувствительным клеткамсетчатки глаза или фоторезисторам матрицы камеры.

Каждый рецептор может находиться в одном из двух состояний —покоя или возбуждения, и только в последнем случае он передаёт единичный сигнал в следующий слой, ассоциативным элементам.

• A-элементы называются ассоциативными, потому что каждому такому элементу, как правило, соответствует целый набор (ассоциация) S-элементов. A-элемент активизируется, как только количество сигналов от S-элементов на его входе превысило некоторую величину θ. Таким образом, если набор соответствующих S-элементов располагается на сенсорном поле в форме буквы «Д», A-элемент активизируется, если достаточное количество рецепторов сообщило о появлении «белого пятна света» в их окрестности, то есть A-элемент будет как бы ассоциирован с наличием/отсутствием буквы «Д» в некоторой области.

• Сигналы от возбудившихся A-элементов, в свою очередь, передаются в сумматор R, причём сигнал от i-го ассоциативного элемента передаётся с коэффициентом w_i. Этот коэффициент называется весом A—R связи.