книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

ной точки зрения в режиме самообучения роль структур­ ных подходов к выбору информативных признаков возрас­ тает по сравнению с режимом обучения, так как, с одной стороны, эта задача, как нам известно, еще не была ранее поставлена, с другой стороны, хотя в принципе и возможна, является трудной задачей обобщения на случай самообу­ чения подходов к выбору информативных признаков, свя­ занных с дивергенцией, средней условной энтропией, а также упрощенными оценками. Достаточно просто мето­ дологически обобщаются на режим самообучения методы выбора информативных признаков, описанные в § 10-4 для режима обучения и систем распознавания с переменной структурой, а также соответствующие методы минимиза­ ции структуры многослойных систем. Минимизация струк­ туры систем распознавания, имеющих при настройке фик­ сированную структуру, должна производиться путем ана­ лиза структуры настроенной СР и полученного в результате настройки значения специальной средней функции риска.

Г л а в а о д и н н а д ц а т а я

О ПРИНЦИПАХ ПОСТРОЕНИЯ СПЕЦИАЛИЗИРОВАННЫХ МНОГОСЛОЙНЫХ СР В АНАЛОГОВОМ ИСПОЛНЕНИИ

11-1. Специализированные системы распознавания

Данная глава посвящена вопросам реализации много­ слойных СР. Не останавливаясь на известных недостатках применения универсальных вычислительных машин для реализации СР (большой объем оборудования, не исполь­ зуемый полностью, малые надежность и быстродействие, наличие громоздких устройств ввода информации), рас­ смотрим реализацию СР в виде специализированных си­ стем, ориентированных только на решение задач распозна­ вания образов.

В США разработано около 30 типов специализированных СР: Mark-I, Mark-II, Papa, Kybertron, Artron, Konflex, Albert-1, Adalin, Madalin, Minos-2, Illiak-2, Illiak-3, To­ bermory, GHILD, Astropower, Adapt-1, Adapt-2, DSK, Ziklop-1, Simisor, Auditran, Shubocs, Gaky и др.

Необходимо обратить внимание на аналоговую реали­ зацию специализированных СР. Целиком аналоговые адап­ тивные системы распознавания образов являлись предме­ том внимания многих исследователей. В этих системах как

310

разомкнутая часть, так и блок настройки выполнялись

ваналоговом виде. Это в свою очередь требует реализации так называемого адаптивного элемента с аналоговой па­ мятью, выполняющего в разомкнутой системе функции блока с переменным коэффициентом усиления, который управляется блоком настройки и запоминается при отклю­ чении его. Основным функциональным элементом специа­ лизированных СР является' адаптивный элемент с аналого­ вой памятью [Л. 6 6 ]. Термин «аналоговая память», строго говоря, неверен, хотя и используется для элементов, имею­ щих несколько дискретных уровней памяти. Наличие ана­ логовой памяти наряду со значительным расширением функциональных возможностей подобных систем, связан­ ным с наличием большого числа уровней градаций коэффи­ циента усиления каждого элемента, позволяет значительно уменьшить сложность специализированной СР. Например,

вобучающейся СР CHILD используется запоминающее устройство на 1 080 тетродах «солион» с общим объемом памяти в 1 млрд. бит.

Аналоговые СР, построенные на подобных адаптивных элементах с аналоговой памятью, обладают рядом пре­ имуществ по сравнению с цифровыми. Эти преимущества состоят в следующем.

Аналоговые СР являются устройствами параллельной обработки информации (цифровые — последовательной). Быстродействие специализированных аналоговых СР на два-три порядка как минимум превышает быстродействие цифровых, причем выигрыш во времени пропорционален числу адаптивных элементов, достигающему в сложных СР нескольких десятков тысяч.

Конструкция аналоговых СР значительно проще, так как они, как правило, представляют собой большое число одинаковых по конструкции каналов обработки информа­ ции. При использовании адаптивных элементов с аналого­ вой памятью не требуется выполнения отдельных микроопе­ раций выборки величины веса, умножения и т. д., так как эти элементы совмещают функции хранения и обработки информации.

Аналоговые СР являются гораздо более надежными, чем цифровые. Например, аналоговая СР Madalin (Стэн­ фордский университет), содержащая 102 электрохимиче­ ских адаптивных элемента с аналоговой памятью типа «мимистор», после годичной эксплуатации и выхода из строя 25% элементов лишь незначительно уменьшила ка­

зн

чество своей работы. Ниже сформулированы основные тре­ бования к адаптивным элементам с аналоговой памятью:

1) запоминание аналоговой величины на длительное время;

2) плавное изменение величины, зафиксированной в па­ мяти;

3)неразрушающее считывание записанной информации;

4)возможность построения матричных схем, в которых зафиксированная в памяти величйна изменяется только при одновременном появлении сигнала адаптации и разре­ шающего сигнала;

5)выходной сигнал должен быть пропорционален про­

типы адаптивных элементов с аналоговой памятью и не­ которые их характеристики: магнитные (1, 2, 3, За, 4, 5, 6 ); электрохимические (7, 8 , 9, 10, 11, 19); оптические (12, 13); элемент, использующий явление сверхпроводности (14);

конденсаторы (15, 16); прочие (17, 18, 20, 21, 22, 23, 24, 25).

Электрохимические элементы делятся на три основные группы: концентрационные (7, 8 , 20); твердофазные (9, 10, 11 , 2 1 ); элементы с выращиванием токопроводящих путей

(22, 23).

Анализ таблицы позволяет сделать следующие выводы: 1. Магнитные элементы значительно превосходят все остальные типы по длительности хранения, быстродейст­ вию, дешевизне и простоте изготовления. Однако они тре­ буют сложных схем управления и обладают существенной

температурной нестабильностью.

2 . Электрохимические элементы имеют времена считы­

312

Т а б л и ц а 11-1

П р о д о л ж е н и е

П р и м е ч а н и е . Кроме того, известны следующие элементы: концентрационная ячейка; твердый мемистор; коллоид Паска; элемент с выращиванием серебряных нитей в капиллярах; опдинатрон; ячейка Керра

Элементы данного типа потребляют значительно мень­ шую мощность, чем другие элементы.

3.Для построения специализированных СР в аналого­ вом исполнении в настоящее время могут быть рекомендо­ ваны тороидальный ферритовый сердечник, мемистор, эле­ мент на четных гармониках, солион и в меньшей степени трансфлюксор.

4.Перспективным является исследование элементов на тонких магнитных пленках, сегнетоэлектриках, металлоокисных транзисторах (микроминиатюрные элементы). Из полупроводниковых элементов перспективны полупровод­ никовый диод с накоплением заряда и MOS-транзистор. Электромеханические элементы практически бесперспек­

тивны. Перспективными являются оптические элементы, а также электрохимические элементы • типа адаптивного «сэндвича» и использующего фотоэлектрическое считыва­ ние (типа Novastord). Конденсаторные элементы практи­ чески непригодны для построения специализированных СР в аналоговом исполнении (за исключением трансполя­ ризатора).

ч

11-2. О построении комбинированных специализированных СР

Построение комбинированных специализированных СР является основным предметом рассмотрения в данной главе. Основное внимание здесь уделяется построению многослой­ ных СР. О необходимости построения специализированных СР в виде комбинированных систем (ЦВМ—АВМ) говори­ лось еще в работах Уидроу по стыковке СР типа Madalin с одной из ЦВМ серии IBM. Однако в этом варианте блок настройки коэффициентов СР был реализован в аналоговом виде. Сохранив преимущества аналоговых СР, указанные выше, необходимо ликвидировать следующие их недостатки: трудность изготовления более или менее пригодного для построения крупной многослойной СР серийного адаптив­ ного элемента с аналоговой памятью; трудность, громозд­

ную сеть из ЛПЭ, реализуется в аналоговом виде.

315

2.Блок настройки коэффициентов и разомкнутая СР моделируются на ЦВМ и служат для расчета параметров аналоговой разомкнутой СР по реальной статистике.

3.Настраиваемые коэффициенты разомкнутой СР уста­ навливаются вручную или полуавтоматически после про­ ведения соответствующих расчетов на ЦВМ (по п. 2).

Этот принцип реализации специализированных СР оп­ равдан, так как, во-первых, при нем сохраняются указан­ ные преимущества аналоговых СР перед цифровыми; вовторых, широкий круг практических задач требует обуче­ ния СР в лабораторных условиях и не требует настройки коэффициентов на некотором интервале практической ра­ боты; в-третьих, в достаточно широком круге практиче­ ских задач возможно после некоторого этапа эксплуатации СР провести дообучение и подстройку коэффициентов в ла­ бораторных условиях.

Ниже в соответствии с указанным принципом построе­ ния специализированных СР в комбинированном исполне­ нии приводятся результаты моделирования многослойных СР на универсальных АВМ со специальными приставками, а также описание макета многослойной СР, предназначен­ ного для решения достаточно широкого круга практических задач распознавания.

11-3. Экспериментальная модель многослойной СР, реализованная на универсальных АВМ и специальной приставке

Была поставлена задача построить экспериментальную модель аналоговой многослойной СР с двумя решениями. Система распознавания имела три слоя с пятью, тремя и одним ЛЙЭ в каждом слое и размерностью исходного про­ странства признаков, равной пяти. Число связных областей в пятимерном пространстве признаков, принадлежащих первому и второму классу и разделимых с помощью такой СР, равно 20.

Для построения экспериментальной модели с указан­ ными характеристиками были выбраны две АВМ МН-7, в основном необходимые для реализации сумматоров, ин­ верторов и релейных элементов. Переменные сопротивле­ ния, реализующие весовые коэффициенты СР, а также схема коммутации ЛПЭ были выполнены на специальной приставке. Общий вид экспериментальной модели пред­ ставлен на рис. 11-1.

316

лучить «изображение» разделяющей поверхности. В jV-мер- ном пространстве признаков с помощью подобной схемы

получается С% плоских изображений. Исследование С% проекций разделяющей поверхности или областей классов позволяет сделать полезные выводы о сложности данной

задачи распознавания, а также о минимальной сложности специализированного устройства, предназначенного для ее решения. Данный способ визуализации разделяющей поверхности был обобщен на случай К классов образов.

выход СР

Рис. 11-4. Функциональная схема экспериментальной модели.

Некоторую информацию можно получить, сравнивая раз­ деляющие поверхности в исходном и промежуточном про­ странствах признаков многослойной СР. Кроме того, дан­ ная схема в дальнейшем может быть использована для контроля серийных специализированных СР в аналоговом исполнении. Исследовалась возможность решения с по­ мощью экспериментальной модели задачи распознавания, представленной на рис. 11-9.

Данная задача не решается с помощью СР, реализуемой на одном ЛПЭ, а решается с помощью двухслойной СР, в которой для первого ЛПЭ первого слоя йп = 1, а 12 = О,

СР была реализована разделяющая поверхность, представ­ ленная на рис. 11-10 .

319