1. Нейронные сети

Искусственная нейронная сеть — сеть, состоящая из искусственных нейронов (программируемая конструкция, имитирующая свойства биологических нейронов). Искусственные нейронные сети используются для изучения свойств биологических нейронных сетей, а также для решения задач в сфере искусственного интеллекта. Нейронная сеть (НС), в случае искусственных нейронов называемая искусственной нейронной сетью (ИНС) или смоделированной нейронной сетью (СНС), является взаимосвязанной группой естественных или искусственных нейронов, которая использует математические и вычислительные модели для обработки информации на основе коннективисткого подхода к вычислению. В большинстве случаев ИНС является адаптивной системой, которая изменяет свою структуру под влиянием внешней или внутренней информации, которая течет через сеть.

С практической точки зрения нейронные сети являются нелинейными статистическими системами моделирования данных или системами принятия решений. Они могут быть использованы для моделирования сложных отношений между входными и выходными данными или для нахождения закономерностей в данных. Ощутимый эффект от применения искусственных нейронных сетей возникает только при решении очень сложных задач высокой и сверхвысокой размерности. Там, где задача может быть решена классическими методами, применение искусственных нейронных сетей нецелесообразно.

2. Формальный нейрон

Формальный нейрон (далее нейрон), представляет собой математическую модель биологической нервной клетки. Насколько эта модель адекватна, сказать трудно, тем более для нас это неважно.

Схематически нейрон (рис. 1) состоит из двух элементарных составляющих: адаптивного сумматора (другие названия-суммирующий элемент, сумматор) и нелинейного преобразователя (активационного элемента).

Рис.1.1. Схема нейрона

Суммирующий элемент вычисляет скалярное произведение вектора входного сигнала Х на вектор подстраиваемых параметров W при T=0. Выделяют также неоднородный суммирующий элемент, для которого Т = 0. Т при этом называют порогом или пороговым значением нейрона. Выход сумматора S часто называют текущим состоянием нейрона, по которому можно судить, насколько нейрон возбужден или заторможен.

Огромное значение имеет активационный элемент(другое название-нелинейный преобразователь), преобразующий текущее состояние нейрона в выходной сигнал согласно некоторому нелинейному закону. Из дальнейшего станет ясно, что без нелинейного преобразователя многослойная нейронная сеть приводима к однослойной, то есть теряет смысл. Закон функционирования активационного элемента называют активационной функцией. Наибольшее распространение в качестве активационной получила сигмоидная функция (рис. 2), формула 1.

, (1)

где S – выход сумматора;

а – коэффициент, определяющий крутизну сигмоида.

Рис 2. График сигмоидной функции

Кроме сигмоидной функции, довольно часто используются единичный скачок и линейный порог (гистерезис).

В отличие от единичного скачка и гистерезиса сигмоид имеет производную на всей области определения, причем производная очень просто выражается через саму функцию: f`(S)=af(S)(1-f(S)). Это свойство имеет большое значение и используется при построении алгоритмов обучения. Можно отметить, что при увеличении а сигмоид приближается к функции единичного скачка, а при а=0 вырождается в горизонтальную линию f(S)=0,5.

Кратко, не вдаваясь в детали, нейрон можно представить как некий элемент, обладающий группой однонаправленных входных связей, называемых синапсами, и один выход, называемый аксоном – выходную связь. Каждый синапс характеризуется величиной синаптической связи или ее весом w_i, который по физическому смыслу эквивалентен электрической проводимости.

Компактно закон функционирования нейрона можно записать следующим образом:

y=f((x,w)+T), (2)

где f – функция активации;

x – вектор входных сигналов;

w – вектор весов синаптических связей;

Т – пороговое значение;

(x,w)– скалярное произведение.

От порога Т можно освободиться, добавив нейрону еще один фиктивный вход х₀ = 1 и соответственно w₀ = Т.