2.4.1. Простой Перцептрон (Perceptron)

Перцептро́н (или Персептрон) — математическая и компьютерная модель, предложенная Фрэнком Розенблаттом в 1957 году для задачи моделирования восприятия информации мозгом, и реализованная в виде электронной машины «Марк-1» в 1960 году.

Перцептрон стал одной из первых моделей нейросетей, а «Марк-1» — первым в мире нейрокомпьютером. Несмотря на свою простоту, перцептрон способен обучаться и решать довольно сложные задачи. Для начала определим составные элементы простого перцептрона, который является частным случаем искусственного нейрона с пороговой передаточной функцией.

Простой перцептрон (рис.2.41) состоит из одного нейрона с настраиваемыми весами на входах и пороговой функцией активации.

Рис. 2.41. Структура простого перцептрона.

Имея на входе вектор , перцептрон вычисляет выходное значение следующим образом:

, где и ,

где есть единичная пороговая функция.

Таким образом, выход перцептрона , если и в противном случае.

Перцептрон может решать задачу кластеризации. Под кластеризацией понимается разбиение множества входных сигналов на классы; при этом, ни количество, ни признаки классов заранее не известны. После обучения такая сеть способна определять, к какому классу относится входной сигнал.

Кроме того, персептрон может распознать принадлежит ли входной вектор значений к данному классу или нет. Например, входной вектор значений (назовем его также как входной образ) может описывать свойства некоторого визуального объекта. Выход перцептрона может соответствовать распознаванию данного объекта (его наличию или отсутствию).

В задаче кластеризации перцептрон приписывает входной образ к классу 1, если > u и к классу 2, если < u.

Линейное уравнение: (2.15)

описывает границу принятия решений (гиперплоскость в n-мерном входном пространстве), которая разделяет пространство решений на два класса.

Рассмотрим, например, двумерный случай (n = 2). В этом случае формула (2.15) может быть переписана как:

.

Разделяющая линия классификации для этого случая показана на рис. 2.42.

Рис. 2.42. Граница принятия решений в двумерной задаче классификации

2.4.2. Многослойные сети с прямым распространением

Сети с прямым распространением сигнала могут быть представлены в виде так называемых L – слойных сетей, как показано на рис. 2.43. Стандартная L – слойная сеть состоит из слоя входных слоев, (L - 1) скрытых слоев и выходного слоя, соединенных последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями. На рис. 2.43 приведена структура трехслойной сети.

Рис. 2.43. Структура многослойной сети

2.4.3. Многослойные перцептроны (Multiple Layer Perceptron)

Наиболее популярный класс многослойных сетей с прямым распространением сигнала образуют многослойные перцептроны (MLP - сокр. от Multiple Layer Perceptron), в которых каждый вычислительный элемент использует пороговую или сигмоидальную функцию активации.

Структура трехслойного персептрона показана на рисунке 2.44.

Рис. 2.44. Структура трехслойного персептрона

Согласно формуле (2.14), выполним следующие вычисления на сети:

Выходное значение сети =1.

Многослойный перцептрон может формировать сколь угодно сложные границы принятия решения и реализовывать произвольные булевы функции.

Достоинством ИНС является способность к обучению, в процессе которого синаптические веса сети настраиваются с помощью того или иного адаптивного алгоритма с целью наиболее эффективного решения поставленной проблемы.

Многослойный перцептрон как универсальный аппроксиматор

Многослойные персептроны широко используются для задач аппроксимации. Рассмотрим MLP с непрерывной нелинейной функцией активации. Для них доказана следующая теорема - теорема существования (Existence Theorem, Hornik и др,. 1989):

MLP может аппроксимировать любую непрерывную функцию с любой заданной степенью точности.

Доказательство этой фундаментальной теоремы основывается на теореме Колмогорова (1957), которая гласит:

Любая непрерывная функция, определенная в n-мерном множестве действительных чисел, может быть представлена в виде суммы функций, имеющих своим аргументом суммы непрерывных функций с единственным аргументом.

Формально, это может быть представлено следующим образом

, (2.16)

где и - непрерывные функции.

Таким образом, для любой непрерывной функции существует многослойный перцептрон MLP, аппроксимирующий ее с заданной точностью.

В качестве функций активации, например, могут использоваться сигмоидные функции:

.