2.5.3.Пространственно-временное обучение

Закон пространственно-временного обучения был разработан в середине 80-х годов независимо друг от друга двумя исследователями Б. Коско и Г. Клопфом. Их работа была вызвана необходимостью создания искусственных нейронных сетей, нейроны которых активизировались бы в определенной последовательности, обеспечивая тем самым динамическое функционирование этих нейронных сетей. Для обучения таких сетей разработчики предложили использовать первые производные выходных сигналов нейронов.

Закон пространственно-временного обучения называют законом Коско-Клопфа.

Фрагмент сети, изображенный на рис. 2.5, содержит два ИН и . Нейрон посылает свой выходной сигнал нейрону . Нейроны соединены связями, имеющими весовые коэффициенты и .

Рис. 2.5.Слой Коско-Клопфа

Пусть в данном случае срабатывание ИН происходит раньше, чем срабатывание ИН (рис. 2.6). Элемент с выходным сигналом активизируется первым, а затем активизируется элемент с выходным сигналом . Для достижения такого эффекта необходимо, чтобы значение весового коэффициента было меньше, чем значение весового коэффициента .

Закон Коско-Клопфа основан на предположении, что вес связи между элементами растет только при увеличении значения выходного сигнала нейрона-приемника, что свидетельствует о готовности элемента к активизации, а выходной сигнал нейрона-источника уменьшается, т.е. элемент был активизирован, а теперь возвращается в прежнее состояние.

Рис.2.6. Динамика слоя Коско-Клопфа

Предположим, что весовые коэффициенты и изменяются указанным способом. В некоторый момент времени активизируется элемент , что ведет к возрастанию весового коэффициента и приводит к активизации элемента . Понятно, что в таком случае значение весового коэффициента оказывается меньшим, чем значение весового коэффициента . Несимметричная связь такого типа называется динамической связью и обеспечивает динамическое функционирование ИНС.

Закон Коско-Клопфа выражается формулой

,

где — единичная ступенчатая функция,

,

—первые производные по времени выходных сигналов .

С помощью параметра значения тех весовых коэффициентов, которые не должны увеличиваться, сводятся к нулю. Выражение в квадратных скобках подобно выражению, используемому в законе Гроссберга. Назначение произведения единичных ступенчатых функций можно объяснить с помощью рис. 2.6. В интервал времени значение и , так как и . В интервал времени значение и , так как и . В интервал времени значение и , так как и . Поэтому весовой коэффициент увеличивается, когда нейрон-приемник активизируется, а выходной сигнал нейрона-источника уменьшается.

Слой Коско-Клопфа, обучаемый по пространственно-временному закону, является основой для построения сетей с пространственно-временной архитектурой.

3.Архитектуры инс

Существует по крайней мере около 30 различных моделей искусственных нейронных сетей, предназначенных как для исследовательских работ, так и для практических применений. На рис. 3.1 приведена классификация наиболее известных среди них.

Линейная модель, как оказалось [16], обладает слишком малыми возможностями. Настоящий прорыв в области моделирования нейроподобных сетей произошел только после придания сетям простых формальных нейронов нелинейности, что превращает их в динамическую систему и обеспечивает им важнейшее свойство — ассоциативность.

Алгоритмы обратного распространения ошибок и Кохонена наиболее изучены на простых нейронных сетях с числом нейронов , которые позволяют решать относительно простые по информационной емкости проблемы. Создание и обучение сетей, состоящих из больших () количеств нейронов, наталкивается на значительные трудности из-за необходимости применения суперкомпьютеров. А в случае более сложных моделей нейросетей, например с несимметричными (случайными) или, наоборот, с симметричными связями, но сложным нейроном, сеть обладает множеством хаотических и регулярных аттракторов, что еще более осложняет моделирование. Но именно этот путь, с нашей точки зрения, ведет к приближению моделей к реальным процессам, происходящим в живых системах.

МОДЕЛИ НЕЙРОННЫХ СЕТЕЙ

По виду решаемых задач

Ассоциативные Сети преобразова- Стохастические

сети ния данных сети

По способу По способу

функционирования функционирования

Машина

Гетероассоциатив- Сеть с обратным Больцмана

ные (Линейный распространением

ассоциатор) ошибки

Пространственно-

временные сети

Авто- Сеть со встречным

ассоциативные распространением Иерархические

(Сеть Хопфилда) ошибки сети

Рис. 3.1.Классификация моделей ИНС

В то же время, технически относительно легко осуществимые, регулярные сети с простым нейроном, обучаемым по правилу Хебба, уже демонстрируют когерентные свойства: обучаемость, способность автоклассификации, ассоциативность. Это можно назвать простейшим самопрограммированием.

Когда психологи говорят об ассоциации, они обычно имеют в виду способность человека по заданному понятию (или образу) очень быстро находить другие понятия (или образы), в каком-то смысле близкие к исходному. Это свойство считается очень важным для человеческого мышления, и специалисты по искусственному интеллекту не могли не отразить его в своих работах.

Можно выделить два основных способа, при помощи которых в искусственном интеллекте пытаются воспроизвести свойство ассоциативности. Первый способ заключается в установлении отношений между различными понятиями и записи этих отношений в явном виде, как это делается, например, в семантических сетях [17]. При таком способе понятиям ставятся в соответствие узлы сети, а отношениям - связи между ними. Ассоциации возникают при переходе по связям от одних узлов к другим. Второй способ заключается в описании содержания (объема) каждого понятия путем перечисления его признаков. Ассоциация при этом может быть получена путем сравнения признаковых структур и выявления общих (ассоциация по смежности) или противоположных (ассоциация по контрасту) признаков. Этот способ может быть реализован в фреймовых структурах [18], хотя поиск ассоциаций в них приводит к очень трудоемким процедурам. Как одну из интересных попыток ввести внутреннюю структуру понятий можно рассматривать нечеткие множества Заде [19], хотя структурирование здесь осуществляется только по одному параметру — мере принадлежности, и получается относительно бедным.

Нетрудно заметить, что различие между этими способами базируется на том, что в первом случае понятие представляют единым, неделимым элементом, и все, что можно сказать об этом элементе, переносится в его связи, а во втором случае понятие представляют множеством элементов, имеющим свою внутреннюю структуру.

Нейронные сети по своей природе являются едва ли не идеальным устройством для получения ассоциаций, поэтому при их моделировании свойству ассоциативности уделяется большое внимание и почти все авторы моделей так или иначе решают вопрос о формировании ассоциаций, но способов решения этого вопроса остается как минимум два: ассоциации за счет формирования межнейронных связей и ассоциации за счет пересечения подмножеств нейронов, входящих в состав различных понятий [20]. Различия этих двух способов имеют очень важные и далеко идущие последствия, но, по-видимому, это обстоятельство еще недостаточно хорошо осознано и не получило в литературе должного освещения.

Еще в 1949 г., Д.О.Хебб [21] высказал гипотезу, в соответствии с которой информацию о внешнем мире человеческий мозг формирует в виде нейронных ансамблей. Нейронный ансамбль по Хеббу — это множество нейронов, связанных между собой взаимными возбуждающими связями. Он обладает свойством возбуждаться целиком, когда в его составе оказывается возбужденной только часть нейронов. Это свойство, очевидно, может служить основой для появления ассоциаций. Так, если два ансамбля содержат в своем составе общие нейроны, то возбуждение одного из них через эти общие нейроны может привести к последующему возбуждению другого ансамбля. Если общие нейроны рассматривать как общие признаки, входящие в состав двух понятий, отражаемых этими ансамблями, то переход возбуждения с одного ансамбля на другой можно считать ассоциацией по смежности.

Рассматривая такого рода ассоциации, П.Милнер [22] пришел к выводу, что нейронный ансамбль имеет достаточно сложную внутреннюю структуру. В нем можно выделить ядро, отражающее основное содержание понятия или образа, и бахрому, отражающую менее существенные или конкретизирующие признаки. Нетрудно провести аналогию между внутренней структурой нейронных ансамблей и внутренней структурой тех понятий или образов, которые соответствуют этим ансамблям.

Ассоциативные структуры, предложенные Д.Хеббом и П.Милнером, с нашей точки зрения были наиболее близкими к тому, что требуется для построения систем искусственного интеллекта, но в работах Д. Хебба и П.Милнера остались нерешенными многие вопросы, от которых зависела практическая реализация их модели. Одним из таких вопросов была устойчивость работы нейронной сети. Для того чтобы возбуждение отдельной группы нейронов не приводило к возбуждению всей сети, П.Милнеру пришлось ввести тормозящие связи между активными и неактивными нейронами. Дальнейшее логическое развитие этой идеи привело к появлению сетей Хопфилда [23], в которых исходное понятие нейронного ансамбля с его сложной внутренней структурой исчезло. Другим нерешенным вопросом у Д. Хебба и П.Милнера был вопрос иерархии. Очевидно, что достаточно развитая информационная модель внешнего мира должна быть иерархической. Нейронные сети Д. Хебба и П.Милнера имели "плоскую" структуру: все нейроны в такой сети были совершенно равноправными и имели равные возможности устанавливать связи друг с другом. Наиболее естественным способом преодоления этого недостатка казалось выделение отдельных нейронов, которые могли бы служить представителями целых ансамблей на более высоком уровне иерархии.

Идея заменить целый ансамбль отдельным нейроном кажется очень привлекательной и в том или ином виде присутствует в целом ряде работ, связанных с созданием нейроподобных структур. Так, в модели Гроссберга [24] входной вектор, содержащий набор признаков, входит в "адаптивный резонанс" с отдельным нейроном более высокого уровня, причем между уровнями формируются такие связи, что этот нейрон становится единственным представителем набора признаков. Если набор признаков существенно изменится, то появится новый нейрон-представитель. Главный недостаток этой модели заключается в том, что на верхнем уровне нейрон-представитель не имеет никакой внутренней структуры, которая хоть как-то отражала бы внутреннюю структуру соответствующего набора признаков. Положение практически не изменяется и в том случае, когда на верхнем уровне для представительства выбирают не один, а несколько нейронов, поскольку в модели Гроссберга эта группа нейронов не представляет собой единого целого (нейронного ансамбля) и ее внутренняя структура не анализируется.

Потеря внутренней структуры признаковых наборов происходит и в иерархической модели Фукушимы [25], где также доминирует идея замены нейронных ансамблей отдельными нейронами при переходе с одного уровня на другой.

Очень интересные результаты, связанные с преодолением недостатков модели Хебба и Милнера, получены Брайтенбергом [26], предложившим эффективный механизм управления активностью нейронной сети, содержащей нейронные ансамбли. Этот механизм основан на регулировании порога срабатывания нейронов. Однако дальнейшее развитие этих работ в моделях Палма [27] и Ланснера [28] вылилось в основном в исследование информационной емкости подобных сетей. Ни проблема внутренней структуры ансамблей, ни вопросы сохранения этой структуры в иерархических моделях названными авторами не рассматриваются.

Таким образом, попытки устранить недостатки модели Хебба и Милнера привели одновременно к устранению ее основных достоинств. Быть может, с этим связано и то обстоятельство, что даже термин "нейронный ансамбль" не слишком часто употребляется в современной литературе по нейронным сетям.

В работах школы Н.М.Амосова также прослеживается двойственное отношение к проблеме отображения нейронных ансамблей в иерархических сетевых моделях. Одно направление работ [20] связано с разработкой активных семантических сетей (М-сетей), в которых каждый нейронный ансамбль заменяется одним узлом сети. При этом сохраняются его семантические связи с другими ансамблями, но внутренняя структура теряется.

Другое направление работ связано с попыткой сохранить структуру нейронных ансамблей на всех уровнях иерархии. Данное направление развивается с конца шестидесятых годов, и первая задача, которая была решена в рамках направления, - это достижение стабильности работы сетей с ансамблевой структурой. Задача была решена А.Д.Гольцевым [29] еще до появления соответствующей работы Брайтенберга. Механизм регулирования активности сети, предложенный Брайтенбергом, оказался близким к механизму Гольцева.

Вопросы, связанные с формированием внутренней структуры нейронных ансамблей, с описанием этой структуры и с той ролью, которую может играть структура нейронных ансамблей в системах искусственного интеллекта, а также проблема построения иерархических моделей, в которых ансамблевая структура естественным образом возникала бы на всех уровнях иерархии, подробно рассмотрены Э.М.Куссулем и его сотрудниками [30-33]. Эти модели получили название ассоциативно-проективных структур (АПС).