Математический нейрон Мак–Каллока - Питтса (формальный нейрон)
Исторически первой работой, заложившей теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубликованную в 1943 г. статью Уоррена С.Мак-Каллока и Вальтера Питтса "Логическое исчисление идей, относящихся к нервной активности". Главный принцип теории Маккалока и Питтса заключается в том, что произвольные явления, относящиеся к высшей нервной деятельности, могут быть проанализированы и поняты, как некоторая активность в сети, состоящей из логических элементов, принимающих только два состояния ("все или ничего").
Авторы статьи выдвинули гипотезу математического нейрона – устройства, моделирующего нейрон мозга человека.
Математический нейрон тоже имеет несколько входов и один выход. Через входы математический нейрон принимает сигналы, которые умножает некоторый весовой коэффициент и суммирует :
S=
,
где wj – весовой коэффициент,
xj – входной сигнал.
Выходной сигнал нейрона может принимать одно из двух значений – ноль или единицу, которые формируются следующим образом:
Y= 1, если S>=Q;
Y=0, если S<Q, Q – порог чувствительности нейрона.
Таким образом, математический нейрон, как и биологический прототип, существует в двух состояниях. Если взвешенная сумма входных сигналов S не достигает некоторой пороговой величины Q, то математический нейрон не возбуждён и его выходной сигнал равен нулю. Если же входные сигналы достаточно интенсивны, и их сумма достигает порога чувствительности, то нейрон переходит в возбуждённое состояние, и на его выходе образуется сигнал Y=1.
Весовые коэффициенты wj имитируют электропроводность нервных волокон – силу синаптических связей между нейронами. Чем они выше, тем больше вероятность перехода нейрона в возбуждённое состояние.
Таким образом, математический нейрон – это пороговый элемент с несколькими входами и одним выходом. Одни из входов оказывают возбуждающее действие, другие – тормозящее. Каждый математический нейрон имеет своё определённое значение порога.
Схематически математический нейрон обычно изображают кружочком, возбуждающий вход – стрелкой, а тормозящий – маленьким кружочком. Рядом записывается число, показывающее значение порога Q.
Математические нейроны могут реализовывать различные логические функции. Математический нейрон, имеющий два входа с единичными силами синаптических связей w1 = w2 =1, реализует функцию логического умножения «И» при Q=2 и функцию логического сложения «ИЛИ» при Q=1. Нейрон с одним входом, у которого w= -1, реализует логическую функцию «НЕТ» при Q=0.
Функциональная схема формального нейрона Маккалока и Пиитса
В качестве модели такого логического элемента, получившего в дальнейшем название "формальный нейрон", была предложена схема, приведенная на рисунке. С современной точки зрения, формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход. Вектор входных сигналов (поступающих через "дендриты") преобразуется нейроном в выходной сигнал (распространяющийся по "аксону") с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования.
Вектор локальной памяти содержит информацию о весовых множителях, с которыми входные сигналы будут интерпретироваться нейроном. Эти переменные веса являются аналогом чувствительности синаптических контактов. Выбором весов достигается та или иная интегральная функция нейрона.
В блоке суммирования происходит накопление общего входного сигнала, равного взвешенной сумме входов.
Способность формального нейрона к обучению проявляется в возможности изменения значений вектора весов W, соответствующей пластичности синапсов биологических нейронов.
Формальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и по мысли авторов модели, такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию. Для теоретического описания получаемых нейронных сетей предлагался математический язык исчисления логических предикатов.