5.3. Искусственные нейронные сети

Схема представления искусственного (формального) нейрона приведена на рис. 2.

Рис. 2. Искусственный нейрон

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синоптической силе, и все произведения суммируются, определяя уровень активации возбуждения нейрона.

Сумматор выполняет сложение сигналов, поступающих по си-наптическим связям от других нейронов, и внешних входных сигна-лов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента – выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

где – вес синапса (weight), – входные сигналы поступающие по синаптическим связям (input), – количество синаптических связей,– значение смещения (bias),– результат суммирования (sum),– активационная функция,– выходной сигнал нейрона (output).

Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют формальными нейронами.

В 1960 г. Бенджамином Уидроу (США) была предложена модель, названная им адаптивным линейным нейроном – Адалине (ADAptive Linear NEuron).

Рис. 3. Модель адаптивного порогового элемента

Адалине моделировал функции обычного нейрона: адаптивные веса соответствовали синапсам, компоненты входного вектора – входам дендритов, а логический выход – выходам аксонов. Адалине был предназначен для решения задач распознавания образов и мог обучаться в процессе решения. К его преимуществам следует отнести наглядность и простоту реализации.

Алгоритм обучения Адалине сводится к адаптации весов нейрона и заключается в следующем. Допустим, что целью обучения является уменьшение квадрата ошибки

(1)

где – непрерывный выход нейрона (называемый его суммарным возбуждением);– желаемая реакция нейрона в ответ на заданный вектор входов. Тогда для коррекции весовых коэффициентовможно воспользоваться градиентным алгоритмом:

(2)

Здесь и– соответственно значения коэффициентана-м и-м шаге;– частная производная целевой функцииI по переменной , вычисленная на-м шаге:– положительная константа. Учитывая, что:

можно записать окончательное выражение

(3)

где – «скорость обучения» нейрона.

Алгоритм обучения (2.10), впервые предложенный Б. Уидроу и М. Хоффом в 1960 году, обычно называют дельта-правилом.

Обучение Адалине осуществляется, таким образом, с помощью следующего алгоритма.

Шаг 1. Рандомизируются все веса нейрона – в малые величины.

Шаг 2. На вход нейрона подается входной обучающий вектор и вычисляется в соответствии с ним сигнал:

.

Шаг 3. Вычисляется значение бинарного сигнала :

Шаг 4. Вычисляется ошибка путем вычитания сигналаиз требуемого значения выхода

.

Шаг 5. Коррекция весовых коэффициентов с учетом скорости обученияи величины ошибки:

.

Шаг 6. Повторяются шаги со второго по пятый до тех пор, пока ошибка не станет достаточно малой.

Алгоритм процесса обучения Адалине схож с алгоритмом обучения персептрона Розенблатта, но и тот и другой не реализуют линейно неразделимые логические функции, в частности, функцию «Исключающего ИЛИ».