Глава 6. Нейронные сети

6.1. Искусственный нейрон и функции активации

Биологический нейрон содержит сому (тело нейрона), совокупность отростков – дендритов, по которым в нейрон поступают входные сигналы и отросток – аксон, передающий выходной сигнал нейрона другим нейронам. Точка соединения дендрита и аксона называется синапсом. Общее число нейронов в головном мозгу человека превышает 100 миллиардов, при этом один нейрон соединен более чем с 10 тысячами соседних нейронов. Время срабатывания нейрона составляет около одной миллисекунды, чуть меньше тратится на передачу сигнала между двумя нейронами. Таким образом, биологический нейрон – чрезвычайно медленный процессорный элемент, уступающий быстродействию современных компьютеров в миллионы раз. Тем не менее, в целом мозг способен за доли секунды решать задачи, которые не может решить и суперкомпьютер (например, узнать лицо человека, показанное в непривычном ракурсе).

Искусственным нейроном называется простой элемент в виде следующей структуры (рис.6.1) [1]:

Рис. 6.1. Искусственный нейрон

где - вектор входных переменных (дендритов),

- вектор синаптических весов,

S – сома,

y – выход (аксон).

Сначала вычисляется взвешенная сумма V входных переменных (скалярное произведение):

Затем полученная сумма (потенциал нейрона) сравнивается с заданной пороговой величиной W₀. Если V W₀, то нейрон «не срабатывает», в противном случае вычисляется функция активации (решающая функция) f . При этом

.

Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале.

Функции активации могут быть различных видов: линейная, ступенчатая, линейная с насыщением, многопороговая. Наиболее распространенной является сигмоидная функция с выходными значениями в интервале (0,1):

или в интервале (-1,1):

.

Коэффициент определяет крутизну сигмоида. Поскольку сигмоидная функция является гладким отображением , крутизну можно учесть через величины весов и порогов, и без ограничения общности можно полагать =1. Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие функции активации – гауссова, синусоидальная, всплески и т.д.

6.2. Нейронные сети с прямой связью

Нейронная сеть представляет собой совокупность большого числа нейронов, топология соединения которых зависит от типа сети. Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом, но без обратных связей (рис. 6.2).

x_n

Выходные переменные

Нейроны выходного слоя

y₂

Нейроны скрытого слоя

Входные переменные

Рис. 6.2. Нейронная сеть с прямой связью и одним скрытым слоем

Каждому нейрону соответствует свой вектор синаптических весов , множество которых образуют синаптическую матрицу . Связь с нейронами выходного слоя определяет синаптическая матрица , где m – число нейронов скрытого слоя, k – число нейронов выходного слоя.

Число нейронов скрытого слоя неограниченно возрастает при увеличении точности решения задачи. На практике рекомендуется выбирать m = (n + k)/2.

Согласно теоретическим результатам, нейронные сети с прямой связью и с сигмоидными функциями активации являются универсальным средством для аппроксимации различных функций. Любую многослойную сеть можно трансформировать в однослойную без потери информации путем пересчета синаптических матриц.

Применение нейронных сетей целесообразно для решения задач моделирования, прогнозирования, распознавания образов, если:

• отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточно большое количество примеров;

• задача характеризуется большим объемом входной информации;

• входные данные неполны, зашумлены и противоречивы.

Характер разработок в области нейронных сетей принципиально отличается от ЭС: последние построены на правилах типа «если …, то…», которые вырабатываются на основе формально-логических структур. В основе нейронных сетей лежит преимущественно-поведенческий подход к решаемой задаче: сеть «учится на примерах» и подстраивает свои параметры при помощи алгоритмов обучения через механизм обратной связи.

Пример 6.1. Пусть n=2, m=2,k=2. Порог возбуждения отсутствует, . Задана структура сети (рис.6.3).

Рис. 6.3. Структура нейронной сети с одним скрытым слоем

, x₁ = 1, x₂ = - 1. Определить значения y₁, y₂.

Решение:

Пример 6.2. Пусть задана нейронная сеть с двумя скрытыми слоями (рис. 6.4). Порог возбуждения отсутствует, .

Рис. 6.4. Структура нейронной сети с двумя скрытыми слоями

, , x₁ = - 1, x₂ = 1.

Определить значения y₁, y₂, и преобразовать сеть в однослойную.

Решение:

Для преобразования нейронной сети в однослойную необходимо переопределить семантическую матрицу, т.е. вычислить новую матрицу Wп.

_.

_{Самым важным свойством нейронной сети является ее способность обучаться на примерах. Цель обучения состоит в настройке синаптических матриц.}