3. Искусственный нейрон (модель МакКаллока-Питтса)

В 1943 году Уоррен МакКаллок и Уолтер Питтс предложили первую математическую модель нейрона, которая до сих пор является основой для большинства искусственных нейронных сетей.

3.1. Структура искусственного нейрона

Искусственный нейрон состоит из следующих компонентов:

1. Входы (inputs) — x1,x2,...,xnx1​,x2​,...,xn​. Это могут быть как исходные признаки данных, так и выходы других нейронов.

2. Веса (weights) — w1,w2,...,wnw1​,w2​,...,wn​. Каждому входу соответствует вес, который определяет его важность. Веса — это обучаемые параметры нейрона.

3. Сумматор (summation function) — вычисляет взвешенную сумму входов:

net=∑i=1nwi⋅xi+bnet=i=1∑n​wi​⋅xi​+b

где bb — смещение (bias). Bias позволяет сдвигать функцию активации, давая нейрону возможность активироваться даже при нулевых входных сигналах.

4. Функция активации (activation function) — преобразует взвешенную сумму в выходной сигнал нейрона:

y=f(net)y=f(net)

3.2. Графическое представление

4. Математическая модель нейрона

Формально, искусственный нейрон можно описать как:

где:

• xixi​ — входные сигналы,

• wiwi​ — веса (коэффициенты важности),

• bb — смещение (bias),

• ff — функция активации.

4.1. Роль весов и смещения

• Веса определяют, насколько сильно каждый вход влияет на выход нейрона. Если вес положительный, вход способствует активации; если отрицательный — подавляет.

• Смещение (bias) позволяет нейрону активироваться (иметь ненулевой выход) даже при нулевых входах. Это добавляет гибкости.

Пример: Нейрон с двумя входами, весами w1=0.5,w2=−0.3w1​=0.5,w2​=−0.3 и смещением b=0.1b=0.1. Для входов x1=1,x2=2x1​=1,x2​=2:

net=0.5⋅1+(−0.3)⋅2+0.1=0.5−0.6+0.1=0net=0.5⋅1+(−0.3)⋅2+0.1=0.5−0.6+0.1=0y=f(0)y=f(0)

5. Функции активации

Функция активации вносит нелинейность в работу нейрона. Без неё нейронная сеть была бы просто линейной комбинацией входов и не могла бы решать сложные задачи.

5.1. Основные виды функций активации

Функция	Формула	График	Область значений	Применение
Пороговая (Step)	f(x)={1,x≥00,x<0f(x)={1,0,​x≥0x<0​	Ступенька	{0, 1}	Историческая, сейчас редко
Линейная	f(x)=xf(x)=x	Прямая	(−∞,+∞)(−∞,+∞)	Выходной слой для регрессии
Сигмоида (Sigmoid)	σ(x)=11+e−xσ(x)=1+e−x1​	S-образная	(0, 1)	Вероятностная интерпретация, бинарная классификация (устаревает)
Гиперболический тангенс (tanh)	tanh⁡(x)=ex−e−xex+e−xtanh(x)=ex+e−xex−e−x​	S-образная, симметричная	(-1, 1)	Скрытые слои (лучше сигмоиды)
ReLU (Rectified Linear Unit)	f(x)=max⁡(0,x)f(x)=max(0,x)	0 при x<0, x при x>0	[0, +∞)	Самая популярная для скрытых слоёв
Leaky ReLU	f(x)=max⁡(0.01x,x)f(x)=max(0.01x,x)		(-∞, +∞)	Улучшение ReLU для отрицательных значений
Softmax	softmax(xi)=exi∑jexjsoftmax(xi​)=∑j​exj​exi​​		(0,1), сумма =1	Выходной слой для многоклассовой классификации