книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

ного преобразования кроме символических применяются также структурные, топологические методы. В результате подобного структурного подхода рассматриваются такие СР, как: ЛПЭ, реализующий гиперплоскость в многомер­ ном пространстве признаков; ЛПЭ с Kv и континуумом решений; СР, реализующие нелинейную разделяющую по­ верхность; многослойные СР с последовательными, пере­ крестными и обратными связями; многослойные СР со слу­ чайными связями; многослойные СР с континуумом при­ знаков, когда входом СР являются не jV-мерные векторы, а непрерывные функции (одномерные, двумерные и т. д.).

Главная задача при выборе структуры разомкнутой СР заключается в обосновании того или другого варианта структуры. Однородная структура многослойных СР реа­ лизует в простейшем случае кусочно-линейную разделяю­ щую поверхность в исходном пространстве признаков. Вве­ дение систем распознавания образов с перекрестными связями по сравнению с СР с последовательными связями позволяет реализовать более сложную разделяющую по­ верхность при незначительном усложнении СР.

Таким образом, с учетом сложности разделяющей по­ верхности и сложности разомкнутой СР ставится и решается задача синтеза структуры разомкнутой СР, состоящая в выборе оптимальных числа слоев и числа элементов в слое.

4-2. Линейная и нелинейные разделяющие поверхности

Линейная разделяющая поверхность задается следую­

щим уравнением:

N

2 aixl+ a0= О i=l

Линейная разделяющая поверхность является опти­ мальной по критерию минимума средней функции риска для случая распознавания двух совокупностей векторов, распределенных по нормальным законам с равными кова­ риационными матрицами, при определенных ограничениях на коэффициенты рг и 1ц. Структурная схема СР, реали­ зующей линейную разделяющую поверхность (линейный пороговый элемент — ЛПЭ), изображена на рис. 4-2. Та­ кая схема СР применима при произвольных характеристи­ ках входного сигнала СР (два, К и континуум классов об-

90

разов; произвольных квалификаций учителя и «собствен­ ного мнения учителя о своих способностях»). В соответст­ вии с модификациями пространства решений СР, пред­ ставленными в гл. 2 , возможны некоторые вариации струк­ туры ЛПЭ в зависимости от характеристик пространства решений (здесь название ЛПЭ условное в смысле линей­ ности): ЛПЭ с конечным, равным К р, числом решений — уровней квантования выходного сигнала (рис. 4-3), ЛПЭ

Рис. 4-2. Структурная схема ЛПЭ.

с континуумом решений (рис. 4-4). Преобразование, осу­ ществляемое схемой рис. 4-3, имеет вид:

xk(n) = Fp {g(n)] =

=i j [sign £ (и) — .fl*p.*p;i+1] ;

g(n) = '2i а д (л).

1= 0

где двойные индексы у коэффициентов а разделяют две об­ ласти изменения сигнала g (п).

Преобразование, осуществляемое схемой рис. 4-4:

91

Функция F является непрерывной, монотонно возрас­ тающей ввиду специфики работы СР, формирующей непре­ рывный выходной сигнал. Здесь понятие разделяющей по­ верхности вырождается. На рис. 4-3 и 4-4 коэффициенты ai 2>• • • ’ ак -и к и паРаметРы функции xk = F (g) мо­

гут быть как фиксированными, так и настраиваемыми. Для повышения вероятности правильного распознава­

ния при более сложных, чем нормальные, законах распре­ деления строятся СР, реализующие нелинейные разделяю­ щие поверхности, определяемые, в частности, следующим выражением:

Зачастую для удобства записи и частичного сокраще­ ния числа настраиваемых коэффициентов применяют за­

строится нелинейная разделя­ ющая поверхность по параметрам последовательности образов.

2. По параметрам последовательности образов нахо­ дится нелинейное преобразование исходного пространства признаков в пространство вторичных признаков. Данное нелинейное преобразование позволяет в пространстве вто­ ричных признаков строить линейную разделяющую поверх­ ность.

Эти два способа эквивалентны, хотя второй является более удобным, так как позволяет представить рассматри­ ваемую СР в виде некоторой двухслойной СР, показанной на рис. 4-5. На рисунке N — нелинейное преобразование исходного пространства признаков в пространство вторич­ ных признаков, х0 (п) — сигнал в пространстве вторичных

92

признаков. Подобной двухслойной СР на этапе распозна­ вания может быть представлено большинство рассмотрен­ ных в [Л. 1, 8 , 15, 34, 40, 41 ]. Естественно, чем шире воз­ можности нелинейного преобразования, которое осущест­ вляется слоем N, тем шире класс функций распределения вероятностей в исходном пространстве признаков, для ко­ торых данная двухслойная СР будет оптимальной. В [Л. 22, 46] показано несколько вариантов построения слоя N в не­ линейной СР.

Реализация СР с нелинейной разделяющей поверхностью является трудной технической задачей. Это следует из того,

ных задач стараются со­ кратить число настраиваемых коэффициентов, причем наи­

более естественным и перспективным путем здесь является аппроксимация разделяющей поверхности кусками гипер­ плоскостей (рис. 4-6) [Л. 13, 44, 59, 60]. При этом можно считать, что, если разделяющая поверхность r-го порядка может быть достаточно точно (с точки зрения вероятности правильного распознавания) аппроксимирована гиперпло­ скостями, то приближенное число настраиваемых коэффи­ циентов равно числу порядка Nr. Например, при N = 100 и г = 6 сравниваются числа настраиваемых коэффициен­ тов порядка 1006 и 600. Более строгое сравнение сложности реализации нелинейных и кусочно-линейных СР на этапе распознавания, как правило, не проводится ввиду явного преимущества кусочно-линейных СР.

93

4-3. Реализация СР с кусочно-линейной разделяющей поверхностью в виде многослойной СР на ЛПЭ

В принципе после предварительного построения кусочно­ линейной разделяющей поверхности в многомерном про­ странстве признаков необходимо решить задачу отнесения

Рис. 4-7. Структурная схема СР, реализующей кусочно­ линейную разделяющую поверхность.

Рис. 4-8. Граф многослойной СР с последовательными связями.

различных областей к тому или иному классу (рис. 4 -7 ). Указанные области образуются при взаимном пересечении гиперплоскостей, реализуемых ЛПЭ первого слоя кусочно­ линейной системы распознавания образов. Каждая из об­ ластей определена в виде набора Н 1 двоичных сигналов ( H i — число ЛПЭ первого слоя), принимающих значения

94

± 1 на выходе ЛПЭ первого слоя, и соответствующего зна­ чения выходного сигнала всей СР. Блок отнесения областей к тому или иному классу должен реализовать в данном кон­ кретном случае некоторую функцию е (хк) от Я 2 двоичных

переменных. Указанная логическая функция должна реа­ лизоваться в виде сети из ЛПЭ по следующим причинам.

1. Техническая реализация логических функций мно­ гих переменных упрощается при использовании сети из ЛПЭ по сравнению с логиче­ скими схемами на стандарт­ ных элементах И, ИЛИ, НЕ

ит. д.

2.Точность реализации ло­ гических функций (относи­ тельная нечувствительность работы блока реализации ло­

3. Основной задачей иссле­ дований является создание

структуры разомкнутой СР. Если такая структура будет однородной, то это в значительной степени упростит ее ста­ тистический анализ, а также синтез алгоритмов настройки коэффициентов. На рис. 4-8 представлена граф-схема мно-

95

гослойной СР с полными последовательными связями ме­ жду слоями, реализующей, в частности, и кусочно-линей­ ную разделяющую поверхность. Заметим, что в случае ЛПЭ с двумя решениями при отсутствии ограничений на величину # 2 легко показать, что W < 3 . В общем случае каждый слой многослойной СР осуществляет некоторое преобразование своего исходного пространства признаков в пространство своих выходных переменных. Вид преобра­ зования зависит от структуры слоя и от величины настраи­ ваемых коэффициентов.

Пример. Пусть логическая функция задана в виде карты Кар' нэпа (рис. 4-9). С помощью элементов И — ИЛИ при использова' нии минимального числа таких элементов данная логическая функ­ ция реализуется так, как показано на рис. 4-10 [Л. 12]. Реализация этой же логической функции на ЛПЭ с двумя решениями имеет вид, изображенный на рис. 4-11. Из сравнения видно, что элементов И — ИЛИ нужно шесть, а ЛПЭ — два.

4-4. Классификация типов структур разомкнутых многослойных СР с последовательными связями

В книге в частности рассматриваются многослойные СР с последовательными связями, у которых коэффициенты первых W1 слоев из W являются настраивающимися, а W2 слоев (W2 = W—U^j) являются слоями с фиксирован­ ными коэффициентами. Качество работы многослойной СР

В данном случае в качестве обучаемых слоев выбираются именно первые слои СР, так как по мере удаления от пер­ вого слоя (исходного пространства признаков) происходит все большее и большее сжатие информации о наблюдаемых образах. При этом обучение целесообразнее производить в слоях с наибольшим потоком информации. В принципе может быть рассмотрена классификация типов структур разомкнутых многослойных СР по следующим признакам: числу слоев с настраиваемыми коэффициентами, числу слоев с фиксированными коэффициентами и методу фикса­ ции коэффициентов.

Ниже, в частности, рассмотрены следующие типы мно­ гослойных СР: двухслойная СР с настраиваемыми коэффи­ циентами первого слоя и фиксированными и настраивае­

96

один ЛПЭ. Последний реализует логическую функцию, которая соответствует конфигурации разделяющей поверхности, показан­ ной на рис. 4-12. На рисунке незаштрихованные области относятся

перплоскостей. Каждой области, образованной гиперплоскостями, соответствует своя комбинация двоичных выходов ЛПЭ первого слоя и на ЛПЭ второго слоя поступают три двоичных сигнала. Если взять

Ассоциативная система [Л. 12] является частным слу­ чаем многослойной сети ЛПЭ с фиксированными коэффи­

втором слое. Можно показать, что для двухслойной ассоциативной СР с мажори­ тарным элементом на выходе при заданном числе гипер­ плоскостей (ЛПЭ первого слоя) реализуется только одна конфигурация разделяющей поверхности, так как каждой области соответствует определенный знак суммы «голосов» и к первому и второму классу относятся соответственно области с отрицательным и положительным преоблада­ нием. Этот вывод верен для данной системы и в том случае, если порог мажоритарного элемента отличен от нуля. При этом при изменении порога меняется вид конфигурации разделяющей поверхности, но она остается единственной. Число конфигураций разделяющих гиперповерхностей (т. е. число возможных разбиений объектов на два класса), которое можно реализовать изменением величины порога мажоритарного элемента, равно числу Н 1 разделяющих гиперплоскостей.

Можно также показать, что с помощью ЛПЭ во втором слое на элементах И или ИЛИ можно реализовать только одну конфигурацию разделяющей гиперповерхности. Ре­ зультаты исследования реализуемости различных конфи-

98

Т а б л и ц а 4-1