Нейронные сети

Основной моделируемой структурной единицей является искусственный нейрон. Этот математический нейрон вычисляет взвешенную сумму входных сигналов и формирует на выходе сигнал величины 1, если эта сумма превышает определенный порог и 0 – в противном случае. Нейрон, задается совокупностью своих входов, обозначенных , весами входов , функцией состояния NET и функцией активации F. Функция состояния определяет состояние нейрона в зависимости от значений его входов, весов входов и, возможно, предыдущих состояний. Наиболее часто используются функции состояния, вычисляемые как сумма произведений значений входов на веса соответствующих входов по всем входам . Суммирующий блок складывает взвешенные входы алгебраически, создавая выход NET. Сигнал NET преобразуется функцией активации F и дает выходной сигнал нейрона .

Рисунок 1 – Искусственный нейрон с активационной функцией F

Правило вычисления сигнала активности

Для всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду. Это правило называют правилом активности, а соответствующее выходное значение называют активностью соответствующего элемента. Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [0,1]), или же некоторым значением из определенного дискретного набора значений (например, или ). На вход функции активности поступает значение комбинированного ввода данного элемента.

Функций активности

Тождественная функция.

Функция активности для входных элементов может быть тождественной функцией, это означает, что значение (сигнал, посылаемый другим элементам) оказывается в точности равным комбинированному вводу. Входные элементы обычно предназначены для распределения вводимых сигналов между другими элементами сети, поэтому для входных элементов обычно требуется, чтобы исходящий от элемента сигнал был таким же, как и входной.

Рисунок 2 – Тождественная функция

Пороговая функция

В большинстве моделей НС используются нелинейные функции активности. Пороговая функция ограничивает активность значениями 1 или 0 в зависимости от значения комбинированного ввода в сравнении с некоторой пороговой величиной .

Рисунок 3 – Пороговая функция

Сигмоидальная функция

Наиболее часто используемой функцией активности является сигмоидальная функция. Выходные значения такой функции непрерывно заполняют диапазон от 0 до 1, примером может служить логистическая функция.

Наклон и область выходных значений логистической функции могут быть разными. Например, для биполярного сигмоида областью выходных значений является диапазон -1 и 1.

Рисунок 4 – Сигмоидальная функция

Выбор функции активации определяется:

1. Спецификой задачи.

2. Удобством реализации на ЭВМ, в виде электрической схемы или другим способом.

3. Алгоритмом обучения: некоторые алгоритмы накладывают ограничения на вид функции активации, их нужно учитывать.