43. Решение проблемы нелинейного разделения применением двух линейных разделителей

Итак, однослойный персептрон не в состоянии реализовать даже такую

несложную функцию, как XOR.

Эту проблему легко разрешить путем расширения искусственной нейронной сети. С этой целью добавим в слой еще один нейрон и подберем веса обоих нейронов таким образом, чтобы они разделяли пространство на две части в зависимости от входного вектора

x=[x₁, x₂]^T:

u₁=w₁₁x₁+w₂₂x₂+w₁₀>0 и u₁=w₁₁x1+w₁₂x₂+w₁₀<0 (первый нейрон) и u₂=w₂₁x₁+w₂₂x₂+w₂₀>0 и u₂=w₂₁x₂+w₂₂x₂+w₂₀<0 (второй нейрон).

Подбор весов должен обеспечить

разделение пространства, показанное на рис.17.

Рис. 17. Применение двух линейных разделителей

Общая часть подмножеств, соответствующая условиям u₁>0, u₂>0,

определила область, отделенную от остального пространства, соответствующего условиям u₁<0, u₂<0.

44. Структура инс, выполняющей функцию xor

Добавлением на выходе сети еще одного слоя, состоящего из единственного нейрона, можно реализовать функцию логического суммирования, выделяющую общую часть подмножеств u₁>0, u₂>0.

Окончательная структура ИНС, выполняющей функцию XOR, представлена на рис. 18. Следует отметить, что добавление в сеть дополнительного слоя позволило разрешить проблему невозможности линейного разделения данных. Каждый нейрон скрытого слоя осуществляет дополнительное линейное разделение плоскости, причем граница такого раздела на области u_i>0 и u_i<0 зависит от значений весов нейрона. Выходной слой выполняет соответствующую линейную комбинацию (например, логическую сумму) подобластей, на которые множество, входных данных было разделено нейронами скрытого слоя.

Рис. 18. Структура ИНС, выполняющей функцию XOR

Несмотря на то, что однослойная сеть имеет небольшое практическое значение, ее продолжают использовать там, где для решения поставленной задачи достаточно и одного слоя нейронов.

Выбор архитектуры такой сети весьма прост. Количество входных нейронов определяется размерностью входного вектора x, а количество

выходных нейронов определяется размерностью вектора y. Обучение сети производится, как правило, с учителем и является точной копией обучения одиночного нейрона.

45. Многослойный персептрон

Структура персептронной сети. Многослойная сеть состоит из нейронов, расположенных на разных уровнях, причем, помимо входного и выходного слоев, имеется еще, как минимум, один внутренний, т.е. скрытый, слой. Такая нейронная система называется многослойным персептроном (рис. 19).

Рис. 19. Обобщенная структура двухслойной

сигмоидальной нейронной сети (с одним скрытым слоем)

Веса нейронов скрытого слоя пометим верхним индексом ⁽¹⁾, а выходного слоя – верхним индексом ⁽²⁾. Выходные сигналы нейронов скрытого слоя обозначим v_j (j=1, 2, …, K), а выходного слоя – y_j (j=1, 2, …, M). Примем, что функция активации нейронов задана в сигмоидальной униполярной или биполярной форме.

Для упрощения описания будем использовать расширенное обозначение входного вектора сети в виде x=[x₀, x₁, …, x_N]^T, где x₀=1 соответствует единичному сигналу поляризации. С вектором х связаны два выходных вектора сети: вектор фактических выходных сигналов y=[y₀, y₁, …, y_M]^T и вектор ожидаемых выходных сигналов d=[d₀, d₁, …, d_M]^T .

Цель обучения состоит в подборе таких значений весов w_ij⁽¹⁾ и w_ij⁽²⁾ для всех слоев сети, чтобы при заданном входном векторе х получить на выходе значения сигналов y_i, которые с требуемой точностью будут совпадать с ожидаемыми значениями d_i для i=1, 2, …, M. Если рассматривать единичный поляризационный сигнал как один из компонентов входного вектора х, то веса поляризации можно добавить в векторы весов соответствующих нейронов обоих слоев. При таком подходе выходной сигнал i-го нейрона скрытого слоя удается описать функцией

(49)

В выходном слое k-й нейрон вырабатывает выходной сигнал, определяемый как

(50)

Из формулы следует, что на значение выходного сигнала влияют веса обоих слоев, тогда как сигналы, вырабатываемые в скрытом слое, не зависят от весов выходного слоя.