книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

9-4. Алгоритмы обучения ЛПЭ второго слоя двухслойной СР

Условие реализуемости логической функции е (хА) на ЛПЭ

Целью данного параграфа является проверка реализуе­ мости логической функции на одном ЛПЭ второго слоя си­ стемы распознавания образов. Если результат проверки будет положительным, то многослойная СР будет двухслой­ ной с одним ЛПЭ во втором слое. Если же результат про­ верки будет отрицательным, необходимо перейти к синтезу трехслойной СР, в которой логическая функция реали­ зуется на двух выходных слоях ЛПЭ с некоторым (выби-

Рис. 9-13. К определению физической ре­ ализуемости логических функций на ЛПЭ.

(1 )— 2 I сГх* (г) |, (2) — (с Т b),.

2=1

раемым в процессе синтеза сети) числом ЛПЭ первого слоя и одним ЛПЭ второго слоя.

На рис. 9-13 представлена иллюстрация реализуемости логической функции на одном ЛПЭ, когда величина выход­ ного аналогового сигнала g (п) ЛПЭ меньше нуля на всех наборах входных двоичных переменных xiK (z) (z — номер набора) первого класса и больше нуля на всех входных

ходимое и достаточное условие реализуемости логической функции на одном ЛПЭ можно записать в следующем виде:

e(z) = signg(z)

Суммирование правых и левых частей (9-1) дает усло­ вия реализуемости логической функции на одном ЛПЭ в следующей форме:

280

однозначно определяются данной логической функцией и могут быть вычислены до решения задачи синтеза ЛПЭ, реализующего данную логическую функцию. Так же как в [Л. 12], введем в рассмотрение величину

Выражение (9-5) дает необходимое и достаточное усло­ вие реализуемости логической функции е (хК).

В случае, если логическая функция е (г), существую­ щая в Z точках Я 1-мерного двоичного аргумента xk (г), не реализуема на одном ЛПЭ с вектором а весовых коэффи­ циентов, скалярное произведение вектора а и характери­ стического вектора логической функции меньше, чем сумма модулей значений аналогового сигнала ЛПЭ по всем z = = 1, . . . , Z. Отсюда следует, что вектор весовых коэффи­ циентов ЛПЭ, реализующего данную логическую функцию с характеристическим вектором Ь, должен минимизировать (до нуля) значение следующего функционала:

281

В заключение необходимо отметить, что вектор b в не­ котором смысле близок к вектору весовых коэффициентов а ЛПЭ, реализующего соответствующую b логическую функ­ цию. Если понимать под ошибкой реализации логической функции разность

e(z)----- Jr crx*(z), 2W,

то [Л. 12] среднеквадратичная ошибка будет минимальна при с = Ь. Следовательно, в качестве вектора весовых ко­ эффициентов а иногда (например, в качестве начальных условий итерационной процедуры поиска вектора а, реа­ лизующего данную логическую функцию) можно прини­ мать соответствующий вектор Ь. Однако, естественно, век­ тор b не будет всегда вектором весовых коэффициентов, реа­ лизующих данную логическую функцию.

Таким образом, соотношение (9-5) является необходимым и достаточным условием реализуемости логической функ­ ции на одном ЛПЭ. Соотношение (9-5) полностью анало­ гично (9-2). Соотношение (9-2) можно представить как си­ стему линейных неравенств, а (9-5) — нелинейное уравне­ ние. В этом основное отличие данных двух методов пред­ ставления условия физической реализуемости логических функций на одном ЛПЭ. Использование соотношения (9-5) несколько упрощается вследствие того, что исходная ло­ гическая функция е (хк), существующая максимально в

2 Н‘ точках Я 1-мерного пространства двоичных (— 1, 1) переменных, в (9-5) представляется Я г мерным аналого­

вым вектором, а в (9-2) 2Н‘ двоичными числами.

Синтез ЛПЭ методом минимизации функционала

Указанное соответствие между соотношением (9-2) и (9-5)

показывает на преимущество (9-5). Однако здесь возникает труд- z

ность выражения в явном виде нелинейого члена ^ | g (г) |, которую

г—1

можно обойти путем соответствующей аппроксимации. Естественно, чем точнее аппроксимация, тем ближе найденное значение вектора весовых коэффициентов (при аппроксимации) к искомому. Согласно (9-6) минимизируемый функционал представляется в следующем виде:

<2=1

Здесь с — произвольный вектор весовых коэффициентов, для которого значение аналоговой ошибки ЛПЭ не равно нулю, b —

282

характеристический вектор данной логической функции. При опре­ делении вектора, обеспечивающего минимум (9-7), устанавливается, что: либо а, равное с, является вектором весовых коэффициентов, реализующих данную логическую функцию, либо данная логическая функция не реализуема на одном ЛПЭ.

На рис. 9-14 представлены условно зависимости слагаемых фор­ мулы (9-7) от С[ для логических функций, реализуемых и нереали­ зуемых на одном ЛПЭ. На рисунке цифра 1 соответствует физи­ чески реализуемой, цифра 2 — нереали­ зуемой логической функции.

Излагаемый метод синтеза ЛПЭ второго слоя многослойной СР осно ван на представлении:

?1 8 (г) I * la [?2g2 (г)] +

+[?4g4 (г)] + • •

Сумма

z

xik (г) xjk (z) = dq

z = l

целиком определяется данной логической функцией (одними значе­ ниями своих аргументов) и может быть вычислена до решения за­ дачи синтеза ЛПЭ, так же как и характеристический вектор. Для полного набора аргументов логической функции, существующей

на 2 Н‘ точках //^мерного пространства двоичных (1 , —1 ) перемен­

ных, справедливо следующее:

2=1

283

где 6 ij — символ Кронекера. В общем случае это свойство не соблю­

дается при синтезе многослойных СР. Однако если это соблюдается, то

/ (0 ) вектора с имеет следующий вид:

Сс X Pibi,

где

Pt = (1а?2н‘ ' 1) " ‘ -

Необходимо отметить, что свойство реализуемости логической функции на одном ЛПЭ инвариантно относительно умножения на постоянный коэффициент. Поэтому выражение для искомого вектора весовых коэффициентов ЛПЭ, реализующего логическую функцию с характеристическим вектором Ь, при соблюдении усло­

вия (9-8) имеет следующий вид:

Таким образом, при аппроксимации первого порядка и соблю­ дении (9-8) вектор весовых коэффициентов равен характеристи­ ческому вектору логической функции. В этом случае, если аппрок­ симация первого порядка оказывается непригодной, принимают:

с,- = Ьс лишь для 1 = 1, . . Нх.

а величину а0 варьируют для обеспечения возможной реализуемости логической функции на ЛПЭ (см. пример ниже).

В общем случае, когда соотношение (9-8) не соблюдается

н,

I (с, b) = 1 а (сгПс) — У Cjbj,

/=О

искомый вектор весовых коэффициентов ЛПЭ вычисляется по фор­ муле

а = D~ 1 b .

Это выражение является основным для синтеза ЛПЭ методом минимизации функционала при аппроксимации первого порядка.

Матрица D ~ 1 и вектор b вычисляются по исходным значениям

реализуемой логической функции. Операция с вариацией порога аа

284

здесь полностью аналогична соответствующей операции в случае соблюдения условия (9-8).

Пример. Пусть дана следующая конфигурация разделяющей поверхности, полученная (рис. 9-15) пересечением четырех гипер­ плоскостей. В табл. 9-5 представлены значения логической функции четырех двоичных переменных. Звездочкой отмечены те значения аргумента, которые не присутствуют при формировании исходной кусочно-линейной разделяющей поверхности. Множество всех возможных наборов значений входных двоичных переменных ЛПЭ упорядочиваются таким образом, чтобы десятичные числа г, соответствующие двоичным кодам, составленным из значений пе-

Рис. 9-15. Иллюстрация к синтезу ЛПЭ второго слоя двухслойной СР методом ми­ нимизации функционала.

ременных, образовывали возрастающую последовательность. Пол­ ный набор значений логической функции реализует следующее преобразование: е = хххъ + хгХц -+- хгх2х^

Определяем характеристический вектор логической функции z=2«-

позволяют реализовать на нем исходную логическую функцию. Однако, если аппроксимации первого порядка не хватает для обес­ печения реализуемости логической функции, необходима вариация

П

В](г) = ^ aixik (г).

1=1

285

Т а б л и ц а 9-5

методом минимизации функционала с применением аппроксимации первого порядка на неполном наборе переменных, определяемых видом разделяющей поверхности, показанной на рис. 9-16 (табл. 9-7).

Т а б л и ц а 9-7

286

Таким образом, общая схема синтеза ЛПЭ методом ми­ нимизации функционала заключается в следующем (пере­ ход к каждому следующему пункту обусловлен нереализуемостью логической функции): 1) определение характе­ ристического вектора Ь; 2) определение порога й0; 3) при­ менение аппроксимации второго порядка и т. д.

Вполне очевидно, что изложенный метод синтеза ЛПЭ эквивалентен обычным методам синтеза СР, настраиваю­ щихся по разомкнутому циклу, при учете высших мо­ ментов входного сигнала СР.

Особенность его заключается в том, что здесь гиперпло­ скость, реализуемая ЛПЭ, проводится с учетом высших моментов (по разомкнутому циклу), а раньше, при учете высших моментов, проводи­ лась соответствующая нели­ нейная гиперповерхность. В данном случае видно, кчто при аппроксимации первого порядка характеристический вектор есть вектор разделяю­

щей поверхности, проведенной посреди центров двух клас­ сов (этот вектор есть полусумма векторов математических ожиданий первого и второго класса).

Синтез ЛПЭ по таблицам пороговых функций

Достаточно большое внимание, которое выше было уде­ лено синтезу ЛПЭ второго слоя многослойной СР из ЛПЭ с двумя решениями, объясняется характерными особен­ ностями, возникающими при оперировании в двоичном пространстве выходными сигналами ЛПЭ первого слоя. В принципе для синтеза ЛПЭ второго слоя может быть применен любой из итерационных методов настройки по замкнутому циклу, разработанный в гл. 7.

Синтез ЛПЭ по таблицам пороговых функций [Л. 12] основан на использовании таблиц характеристических век­ торов логических функций. Как указано в [Л. 12], в тех случаях, когда реализация логической функции на одном ЛПЭ возможна, использование таблиц позволяет получить оптимальные (в смысле минимума суммы весов и порога) параметры ЛПЭ. Метод синтеза ЛПЭ по таблицам порого­ вых функций применим в том случае, когда число ЛПЭ

287

в первом слое СР не превышает семи. Необходимо отметить, что для большинства инженерных задач это вполне прием­ лемо, так как гиперповерхность, составленная из кусков семи гиперплоскостей, является достаточно гибкой даже в двухслойной СР. Процесс получения таблиц характери­ стических векторов и соответствующих векторов весовых коэффициентов ЛПЭ второго слоя СР подробно описан в [Л. 12]. Процедура синтеза ЛПЭ, имеющего до семи вхо­ дов, состоит в следующем:

1.Определяем характеристический вектор Ь.

2.Образуем убывающую последовательность абсолют­ ных величин | Ь[ | (i = 0 , . . . , Н г) коэффициентов харак­ теристического вектора логической функции (слева направо)

ипроверяем ее наличие в соответствующей таблице. Если такой последовательности в таблице нет, то данная логиче­ ская функция не реализуется на одном ЛПЭ и процедура

синтеза заканчивается.

3. Если последовательность найдена в таблице, то дан­ ная логическая функция реализуема на одном ЛПЭ. Вектор весовых коэффициентов а ЛПЭ второго слоя СР находим следующим образом. Выписываем последовательность \at \, смежную с последовательностью \ bt \ в таблице. Затем де­ лаем перестановки и изменения знаков яг в этих последо­ вательностях в точном соответствии с теми перестановками и изменениями знаков, которые делались в векторе b для нахождения его канонического представления в таблице

коэффициенты ЛПЭ второго слоя СР.

9-5. Алгоритмы обучения второго и третьего слоев ЛПЭ трехслойной СР

Задача обучения второго и третьего слоя трехслойной СР, если первый слой является обучаемым, является само­ стоятельной задачей обучения двухслойной СР при двоич­ ных входных сигналах. В данном параграфе рассматрива­ ются два метода построения двух выходных слоев трехслой­ ной СР: построение в виде порогово-дизъюнктивной сети [Л. 12] и построение в виде двух слоев ЛПЭ с настраивае­ мыми коэффициентами.

Исходными данными для синтеза порогово-дизъюнктив­ ной сети является полностью определенная логическая

288

функция е (хА). Синтез порогово-дизъюнктивной сети про­ водится в следующем порядке:

1.Выполнение процедуры Квайна-Мак-Класки над функцией е (хА), пока не получим всех ее простых импликантов.

2.Находим все общие пересечения (центры тяжести)

двух или более простых импликантов и объединяем в звезды те простые импликанты, которые имеют общий центр тя­ жести. Таким образом, звездой является объединение не-' скольких простых импликантов, имеющих общий центр тяжести.

3.Находим характеристические векторы каждой звезды, полученной на предыдущем этапе, и проверяем эти звезды на реализуемость на одном ЛПЭ (любым из методов, изло­ женных в предыдущей главе).

4.Для каждой звезды, нереализуемой на одном ЛПЭ, находим всевозможные подзвезды. При этом подзвезда оп­ ределяется как реализуемое на одном ЛПЭ подмножество звезды, которое не является подмножеством любой другой звезды.

5.Дополняем перечень простых импликантов реализуе­

мыми на одном ЛПЭ звездами и подзвездами, найденными в пп. 3, 4, и отмечаем наборы, покрываемые каждой за­ писью этого списка.

6 . Выбираем наименьшее число записей, покрывающих все единицы функции е (xk). Линейные пороговые элементы, реализующие эти записи, составляют либо первый слой порогово-дизъюнктивной сети, либо каскадную сеть [Л. 12], эквивалентную данной порогово-дизъюнктивной сети.

Метод нахождения подзвезд заключается в следующем:

1.Определяем все импликанты, которые имеют пересе­ чением центр тяжести рассматриваемой звезды.

2.Эти импликанты вместе с простыми импликантами

звезды рассматриваются затем во всех возможных комби­ нациях, вычисляются их характеристические векторы и за­ тем осуществляется их проверка на реализуемость на од­ ном ЛПЭ. Такая процедура должна осуществляться при начальном рассмотрении групп, покрывающих наибольшее число единиц, а затем необходимо переходить к группам, покрывающим меньшее число единиц.

Этот метод является достаточно громоздким в том слу­ чае, когда число простых импликантов звезды велико. По­ этому можно использовать другой метод нахождения под­ звезд.