книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

гураций разделяющих гиперповерхностей с помощью двух­ слойной ассоциативной системы распознавания образов приведены в табл. 4-1. В табл. 4-1 сведены разделяющие гиперповерхности, которые реализуются двухслойной ассо­ циативной машиной при различных методах фиксации ко­ эффициентов ЛПЭ второго слоя системы.

В табл. 4-1 приняты следующие обозначения:

@ — области, относящиеся ко второму классу, © — области, относящиеся к первому классу.

В таблице приведены также веса ЛПЭ второго слоя, необходимые для реализации указанной конфигурации разделяющей поверхности. Анализ табл. 4-1 позволяет сделать следующие замечания.

Мажоритарный элемент, как метод фиксации коэффи­ циентов ЛПЭ второго слоя ассоциативной СР, обладает преимуществами по сравнению с элементами И и ИЛИ в в том плане, что реализует более гибкую разделяющую поверхность при заданном числе гиперплоскостей. Недо­ статок его в том, что он неприменим при четном числе ги­ перплоскостей.

Необходимо отметить, что иллюстрации конфигурации разделяющей поверхности в пространстве двух признаков, конечно, являются несколько условными. Однако подоб­ ное рассмотрение позволяет сделать некоторые сравни­ тельные (по сложности разделяющей поверхности) выводы для многомерного случая, так как сложность реализации слоев многослойной СР, кроме первого, не зависит от раз­ мерности исходного пространства признаков, а зависит только от Н г. Возможно рассмотрение методов визуали­ зации разделяющих поверхностей, реализуемых СР во всевозможных плоскостях (xh Xj), i, / = 1, . . . , N, N- мерного пространства признаков. Эта операция, осущест­ вление которой возможно с помощью аналоговой техники, позволит визуально приближенно оценить сложность раз­ деляющей поверхности, реализуемой обученной СР.

При рассмотрении двухслойной СР с настраиваемыми коэффициентами ЛПЭ первого и второго слоя основным вопросом исследования является определение логических возможностей одного ЛПЭ. Здесь необходимо определить, какие логические функции, соответствующие различным конфигурациям гиперповерхности, можно на нем реали­ зовать. Этот вопрос является важным, так как далеко не всякая логическая функция реализуется на одном ЛПЭ. Пусть задана исходная конфигурация разделяющей по­

100

верхности, т. е. имеется обученный первый слой ЛПЭ СР. Необходимо выяснить возможность реализации логиче­ ской функции, отвечающей данной конфигурации гиперпо­ верхности на ЛПЭ второго слоя. Воспользуемся для этой цели методом, основанным на применении карт Карнапа, и методом синтеза по таблицам [Л. 12]. Существенно то, что на выходе ЛПЭ первого слоя СР встречаются не все комбинации переменных, имеющиеся в полном их наборе,

равном 2h i‘. Поэтому в дальнейшем будем производить доопределение логической функции на некоторых наборах удобным для нас образом. Основные используемые виды пересечений (для двумерного случая) приведены в табл. 4-2, где показано разбиение пространства признаков на обла­ сти гиперплоскостями в количестве от двух до шести. На картах Карнапа крестиком обозначена запрещенная ком­ бинация переменных, на которой логическую функцию не­ обходимо дополнить. Результаты исследования логических возможностей одного ЛПЭ второго слоя СР сведены в таб­ лицу в приложении 1. В табл. 4-1 представлены различные виды конфигураций разделяющих гиперповерхностей, об­ разованных взаимным пересечением от двух до шести ги­ перплоскостей и реализуемых на одном ЛПЭ. Конфигу­ рация разделяющих гиперплоскостей выделена в таблице жирными линиями. Знаком минус указаны области, отно­ сящиеся к первому классу, знаком плюс — ко второму. На картах Карнапа единицей в кружке обозначены те до­ определенные значения логической функции, которые по­ надобились для проверки оптимальной реализации ее на одном ЛПЭ. Процедура проверки реализуемости СР в виде двухслойной сети и подсчета числа ЛПЭ во втором слое трехслойной сети показана на некоторых примерах кусочно­ линейной разделяющей поверхности, составленной из ше­ сти гиперплоскостей.

Анализ таблицы в приложении 1 позволяет сделать сле­ дующие выводы.

1.Двухслойная СР с настраиваемым ЛПЭ во втором слое обладает преимуществами по сравнению с двухслой­ ной ассоциативной системой в том плане, что реализует более гибкую разделяющую поверхность в исходном про­ странстве признаков.

2.Двухслойная СР с настраиваемым ЛПЭ во втором слое обладает все же ограниченными возможностями в

101

ции более гибких разделяющих поверхностей необходимо строить трехслойные СР, например СР с порогово-дизъюн­ ктивной сетью [Л. 12, 46] в качестве второго и третьего слоя.

Трехслойные СР

В том случае, если логическая функция, которую необ­ ходимо реализовать на слоях ЛПЭ СР, кроме первого, не реализуется на одном ЛПЭ, необходимо строить трехслой­ ную СР с минимальным количеством ЛПЭ во втором слое. В работе [Л. 46] рассматриваются методы синтеза слоев ЛПЭ трехслойной СР, кроме первого, для случая, когда выходной ЛПЭ СР является вырожденным, а именно эле­ ментом ИЛИ. Для разбиения, рассмотренного в табл. 4-2 при числе ЛПЭ первого слоя, меняющемся от двух до ше­ сти, в таблице приложения 2 представлены результаты исследования реализуемости различных конфигураций ку­ сочно-линейных гиперповерхностей с помощью рассматри­ ваемой трехслойной СР. При этом определялось и исполь­ зовалось при исследовании минимальное число ЛПЭ второго слоя СР. В первой колонке таблицы находится изобра­ жение конфигурации разделяющей поверхности. Заштри­ хованные области относятся к первому классу, незаштрихованные — ко второму. Во второй колонке изображена карта Карнапа полученной логической функции. В третьей колонке указано минимальное число ЛПЭ второго слоя СР, необходимое для реализации данной конфигурации разделяющей поверхности. В таблице представлены только те конфигурации разделяющих кусочно-линейных поверх­ ностей, которые не реализуются двухслойной СР. Анализ результатов исследования позволяет сделать следующие выводы.

1.С ростом числа ЛПЭ первого слоя СР число ЛПЭ вто­ рого слоя увеличивается, хотя и не монотонно.

2.Число ЛПЭ второго слоя СР зависит от конфигура­ ции разделяющей поверхности в исходном пространстве признаков.

3.Проведенные исследования показывают, что в прак­ тических задачах для реализации любой конфигурации разделяющей поверхности, образованной не более, чем шестью гиперплоскостями (за исключением единичных случаев, не имеющих большого практического значения), во втором слое трехслойной СР достаточно иметь три ЛПЭ.

ЮЗ

Многослойная СР, предназначенная для распознавания К классов образов, равных числу решений К р, может быть построена в нескольких вариантах. В принципе одним из возможных вариантов является также многослойная СР, в последнем слое которой стоит ЛПЭ с К р — К решениями. Возможен и другой вариант, изображенный на рис. 4-13, где представлена структурная схема последнего слоя си­ стемы распознавания К классов образов. Каждому из К классов образов в схеме соответствует определенная ком­

Структура разомкнутой СР в случае континуума призна­ ков

Введение континуальных свойств СР является естест­ венной тенденцией к обобщению. Выше было введено по­ нятие и формализация континуума классов и решений. Достаточно просто вводится понятие и формализация кон­ тинуального по времени входного сигнала СР [Л. 40]. Представляет интерес, но не рассматривается в данной ра­ боте континуум слоев ЛПЭ и континуум числа ЛПЭ в каж­ дом слое. Континуум признаков для некоторых практиче­ ских задач исключает проблему квантования изображений или кривых для целей подготовки пространства признаков. В связи с этим практически исключается из рассмотрения проблема выбора информативности признаков на уровне каналов входного сигнала СР.

По аналогии с известным преобразованием, выполняе­ мым ЛПЭ с дискретным множеством признаков, можно за­ писать преобразование, выполняемое им над непрерывным множеством признаков:

104

Структура первого слоя многослойной СР с континуу­ мом признаков представлена на рис. 4-14. Анализ схемы показывает возможность достаточно простой реализации данной СР в оптическом варианте для распознавания пло­ ских изображений и на АВМ для распознавания кривых и сигналов. На конкретные пути реализации будет указано

Рис. 4-14. Структурная схема первого слоя ЛПЭ многослой­ ной СР с континуумом признаков.

ниже при рассмотрении методов обучения данной СР, ко­ торые в первую очередь связаны с методами получения и физической реализации функций а (г).

«Дерево» как не полностью определенная логическая функция

Древообразные структуры построения алгоритмов най­ дут, по мнению автора, широкое применение в теории рас­ познавания образов. Основная их идея заключается в по­ следовательном делении многомерного пространства при­ знаков. Можно легко показать, что «дерево», как один из результатов настройки, подобным образом ЛПЭ первого слоя является частным видом не полностью заданной ло­ гической функции.

Пример. На рис. 4-15 представлена конфигурация разделяющей поверхности, реализуемой древообразной структурой с. указанием принадлежности областей к тому или иному классу. При этом СР имеет два слоя ЛПЭ и четыре ЛПЭ в первом слое. На выходе первого слоя СР имеются некоторые наборы четырех переменных логической функции. Число этих наборов равно числу областей многомерного пространства признаков, образованных четырьмя гиперплоскостями:

105

На рис. 4-16 представлена соответствующая карта Карнапа. Данная логическая функция является не полностью определенной. Можно показать, что с ростом числа гиперплоскостей растет относи­ тельное число наборов, на которых соответствующая логическая функция не определена. Это в свою очередь должно расширить гра­ ницы реализуемости данных логических функций на одном ЛПЭ и сети из Л1~1Э по сравнению с логическими функциями, заданными

на 2Hl наборах переменных.

Необходимо отметить, что второй и третий слои ЛПЭ трехслойной СР являются в свою очередь двухслойной СР образов, которые являются двоичными выходами ЛПЭ

верхности.

первого слоя трехслойной СР. Поэтому для второго и третьего слоя трехслойной СР полностью применимы все меры анализа разомкнутой части и методы построения блоков обучения, что и для двухслойной СР. Это свойство может быть обобщено на СР с произвольным числом слоев, выбранным в процессе синтеза СР, когда каждые из (W-—/) последующих слоев синтезируются, т. е. выбираются число и значения коэффициентов ЛПЭ слоев, исходя из обеспе­ чения определенного качества распознавания образов на выходе /-го слоя.

106

4-5. Структурное и символическое описание разомкнутых многослойных СР

В последнее время можно отметить резкое возрастание роли структурных методов в исследовании различного рода систем по сравнению с символическими методами. Основ­ ными причинами данного подхода являются такие свой­ ства исследуемых систем, как многослойность, многоконтурность и многомерность. Именно этими свойствами об­ ладают и современные СР. Настоящая работа ставит своей целью развитие структурного подхода к проблеме распоз­ навания образов, когда относительный вес разработок блока обучения СР уменьшается, а увеличивается соот­ ветственно вес разработок при выборе структуры разомк­ нутой СР. Именно по этим причинам кроме символических описаний разомкнутых СР возникает необходимость в струк­ турном представлении преобразований разомкнутых СР на этапе распознавания. Ниже представлено формальное описание основных типов многослойных СР.

а) Двухслойная СР

в частности функция F (g) может иметь следующий вид:

.F(g) = signg или F (g) = — arctg Bg,

П

где В — постоянный коэффициент.

б) Трехслойный персептрон Розенблатта

Трехслойный персептрон Розенблатта — двухслойная СР, в которой за счет резкого уменьшения числа у 2 входов ЛПЭ первого слоя и за счет введения случайных связей этих ЛПЭ с входным пространством СР возникает необхо­ димость в увеличении числа ЛПЭ первого слоя. В данном

случае

Vi

Случайные связи являются неизменными на этапе на­ стройки.

107

ов) Многослойная СР из ЛПЭ с континуумом решений

Здесь # 0 — размерность исходного пространства при­ знаков. Стрелкой и символом указаны обозначения сиг­

а)

Рис. 4-17. Графы.

а — двухслойной СР с перекрестными связями; б — ЛПЭ с обратной связью; в — двухслойной СР с обратными связями.

г) Многослойная СР с N* выходными каналами. Симво­ лическое описание подобной СР достаточно просто полу­ чить из (4-8) и граф-схемы СР, представленной на рис. 4-8.

Граф-схема СР представлена на рис. 4-17, а.

В принципе возможно рассмотрение многослойных СР произвольной структуры с перекрестными связями.

е) ЛПЭ с обратной связью (рис. 4-17, б):

о

109