У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.

Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая интерпретация.

Формальный нейрон.

Формальный нейрон имитирует в первом приближении свойства биологического нейрона. На вход формального нейрона поступает некоторое множество сигналов, обозначенных x1, x2,…, xn, каждый из которых является выходом другого нейрона. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Т.к. синапсы отличаются друг от друга, над входными сигналами осуществляется преобразование L. Его результат подаётся на вход активационной функции F, которая формирует на аксоне нейрона выходной сигнал Y.

Таким образом, с математической точки зрения нейрон представляет собой композицию функций, задающих зависимость выходного сигнала нейрона Y от

Типология нейронов.

Тип нейрона определяется типом обрабатываемого сигнала и видом функций

F и L.

Типология входных сигналов xi – компонентов вектора X:

структура сигнала

однопараметрический (скаляр), мощность шкалы измерения сигнала

дискретная шкала (дискретный сигнал),

непрерывная шкала (аналоговый сигнал);

многопараметрический (вектор),

физическая интерпретация характеристик многопараметрического сигнала

амплитуда,

частота (спектр),

фаза,

длительность.

Модель МакКаллока-Питса – это дискретная модель, в которой состояние нейрона в момент (t + 1) рассчитывается по значениям его входных сигналов в предыдущий момент t.

Через несколько лет Д. Хебб предложил теорию обучения нейронов. Процесс обучения рассматриваемого нейрона сводится к изменению его внутренних параметров – компонентов вектора W и порога T. Д. Хебб в процессе исследования нервных клеток заметил, что связь между двумя клетками усиливается, если обе клетки пробуждаются (становятся активными) в один и тот же момент времени. Если клетка с выходным сигналом Y связана с клеткой, имеющей выходной сигнал xi, связью с весом wi, то на силу связи этих клеток влияют значения выходных сигналовxi иY.

Приведённая ниже формула была предложена одной из первых для обучения нейрона и известна как правило Хебба. В соответствии с правилом ним, вес wi нейрона изменяется пропорционально произведению его входного и выходного сигналов:

wi(t+1) = wi(t)+α* xi *Y, i = 1..n

здесь wi(t+1) и wi(t) – компоненты вектора W в момент времени t+1 и t соответственно, α – коэффициент обучения (0 < α ≤ 1).

Чтобы использовать правило Хебба для настройки порога поступают следующим образом: переходят от рассматриваемого нами нейрона (см. рис. 1) к нейрону, изображённому на рис. 2.

x3 = -1, а w3 = T. Таким образом: T(t+1) = T(t)-α*Y

здесь стоит отметить, что эту формулу целесообразно применять в случае, когда функция активации нейрона является биполярно-пороговой: Y {-1; 1}, или осуществляется нормализация вектора W, включая порог.

Согласно правилу Хебба процесс обучения зависит от входных и внутренних значений характеристик нейрона. Такой механизм обучения называется обучением без учителя – на этапе адаптации нейрона мы не можем прогнозировать его выходные сигналы. Обучающий алгоритм подстраивает веса так, чтобы получались согласованные выходы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.

Если же при обучении используется эталонное (ожидаемое) значение выходного сигнала нейрона, то такой механизм обучения называется обучением с учителем – результат обучения предопределен заранее благодаря заданным

обучающим эталонным значениям. Приведём формулу для обучения с учителем известную как дельтаправило:

wi(t+1) = wi(t)+α*xi*(D-Y), i = 1..n

P – эталонное значение выходного сигнала нейрона.

Несмотря на многочисленные прикладные достижения, обучение с учителем критиковалось за свою биологическую неправдоподобность.

Рассмотрим геометрическую интерпретацию правила Хебба и дельта-правила. Пусть есть нейрон с двумя входами и пороговой функцией активации (k1=1; k2=0; T=0), каждый сигнал, поступающий на вход такого нейрона, умножается на вес – компонент вектора W. Рассмотрим процесс изменения согласно правилу Хебба вектора W, обозначив вектора W и Х в момент времени i как W(i) и X(i)

соответственно.