5.2. Зачем нужна нелинейность?

Если бы функции активации были линейными, то любая комбинация нейронов сводилась бы к линейной функции. А линейные функции не могут решать задачи, где данные не разделимы линейно (например, задача XOR). Нелинейность позволяет сети аппроксимировать любые сложные функции (теорема о полноте).

6. Пример работы нейрона

Рассмотрим нейрон для задачи бинарной классификации (например, определение, является ли объект "кошкой" по двум признакам: "есть усы" и "есть хвост").

Пусть:

• x1x1​ = 1 (есть усы), x2x2​ = 1 (есть хвост)

• w1=2.0w1​=2.0, w2=1.5w2​=1.5, b=−2.5b=−2.5

• Функция активации — сигмоида.

Вычисляем взвешенную сумму:

net=2.0⋅1+1.5⋅1−2.5=1.0net=2.0⋅1+1.5⋅1−2.5=1.0

Применяем сигмоиду:

y=11+e−1≈0.73y=1+e−11​≈0.73

Интерпретируем как вероятность: 73% — это кошка.

Если бы мы использовали пороговую функцию, выход был бы 1 (так как net >= 0).

7. Обучение нейрона

Нейрон обучается путём корректировки весов wiwi​ и смещения bb, чтобы минимизировать ошибку между его выходом и желаемым значением.

Для одного нейрона это делается с помощью правила дельты (частный случай градиентного спуска):

Δwi=η⋅(target−y)⋅xi⋅f′(net)Δwi​=η⋅(target−y)⋅xi​⋅f′(net)

где:

• ηη — скорость обучения (learning rate),

• targettarget — желаемый выход,

• yy — реальный выход,

• f′(net)f′(net) — производная функции активации.

Для многослойных сетей используется алгоритм обратного распространения ошибки (backpropagation).

8. От одного нейрона к нейронной сети

Один нейрон может решать только простейшие задачи (линейно разделимые). Для решения сложных задач (распознавание образов, обработка естественного языка) нейроны объединяют в сети:

• Входной слой — принимает данные.

• Скрытые слои — извлекают признаки и закономерности.

• Выходной слой — выдаёт результат.

Каждый нейрон в скрытом слое работает по описанной выше схеме, но получает входы не от исходных данных, а от выходов нейронов предыдущего слоя.

9. Заключение

Ключевые выводы:

1. Искусственный нейрон — математическая модель биологического нейрона.

2. Он вычисляет взвешенную сумму входов (с учётом смещения) и пропускает её через нелинейную функцию активации.

3. Веса и смещение — обучаемые параметры, которые настраиваются в процессе обучения.

4. Функция активации вносит нелинейность, позволяя сети решать сложные задачи.

5. Один нейрон способен решать только линейно разделимые задачи.

6. Объединение нейронов в многослойные сети даёт мощный инструмент для аппроксимации любых функций.

47. Парадигмы обучения нейронных сетей

Обучение нейронных сетей может происходить по различным принципам. Наиболее распространёнными являются обучение с учителем и обучение без учителя.

Обучение с учителем предполагает использование размеченных данных. Это означает, что для каждого примера заранее известен правильный ответ. Нейронная сеть обучается, сравнивая свой результат с правильным ответом и корректируя свои параметры.

Обучение без учителя используется в тех случаях, когда правильные ответы заранее неизвестны. В этом случае нейронная сеть самостоятельно ищет закономерности и структуру в данных.

Существуют также другие методы обучения, например обучение с подкреплением, при котором система обучается на основе получаемого вознаграждения.