книги из ГПНТБ / Автоматы и разумное поведение. Опыт моделирования

Определим теперь значения ко и к0, обеспечивающие вы­ полнение введенного условия. Используя данные табл. 7,

го» фактора обучения, которому в функции установления

влево. На основании опытов с необучаемой моделью можно

выражение типа (9.5) для границ области допустимых пара­ метров в крайних точках этого диапазона. Схема располо­ жения областей в этом случае представлена на рис. 61, б, где подобласть с двойной штриховкой и определяет совокуп­ ность таких значений параметров, которые при любом А (внутри заданного интервала) обеспечивают установление

Рис. 62. Область допустимых зпаченпй параметров установле­ ния связен (А — рабочие значе­ ния параметров).

средней (в указанном выше смысле) связи. Упомяпутая под­ область и составляет теперь область допустимых значений

параметров ко и ко. Еще одно ограничение на эту область накладывается требованиями, предъявляемыми к величине

проходимостей связей г,-j, r,j (см. табл. 7). Потребуем, чтобы прп Д = 0 выполнялось неравенство 0,1 ^ г ^ 0,9. Тогда из (9.4) можно определить минимально и максимально до­ пустимые значения к0 п ко и соответственно ограничить об­ ласть пх значений (пунктир на рис. 61, б). Окончательный

вид области допустимых значений параметров ко и ко при­ веден на рис. 62. В качестве рабочей точки для дальнейших экспериментов выбрана точка А, т. е. к0 = ki — 1,5 • Ю - 3 ;

ко = A, «= 2,5-10-3.

Реализация функции установления связей в виде под­ блока An алгоритма А обеспечивает определенные возмож­ ности обучения М-автомата. Некоторые из них будут проде­ монстрированы в следующем параграфе.

§ 2. Демонстрационные тесты

Необходимо убедиться в том, что выбранные значения пара­ метров установления могут обеспечить решение автоматом определенных задач. Поскольку установление связей явля­ ется лишь одним из возможных механизмов обучения, рас­ смотрим лишь такие задачи, для решения которых живые организмы используют (предположительно) способность к установлению временных связей между раздражителями различного рода. Психология и зоопсихология могут предло­ жить большое количество таких задач. Мы рассмотрим толь­ ко некоторые.

Классическое обусловливание. В настоящее время извест­ но большое количество моделей условного рефлекса (см., на­ пример, работы [9, 13, 52, 56 и др.]). Наши интересы в этой области ограничены принятой ранее постановкой задачи: из всего множества процессов и явлений обусловливания мы можем рассматривать лишь те, которые непосредственно свя­ заны с проявлением двигательного поведения в средах задан­ ного типа. (Мы не претендуем на модельное описание фи­ зиологических и других процессов, изученных в лаборатор­ ных условиях.) Сопоставление отдельных важных процессов и экспериментальных процедур обусловливания с процесса­ ми, реализуемыми в М-автомате, показывает, что по край­ ней мере некоторые из основных процессов обусловливания естественно интерпретируются в терминах, описывающих структуру и функционирование М-автоматов. Можно пола­ гать, что язык М-сетей послужит хорошей основой для по­ строения более полных моделей обусловливания. Работы в этом направлении могут составить самостоятельную область исследований.

Рассмотрим теперь конкретный М-автомат, способный формировать условные реакции, и его работу при решении задачи «идентификации восприятий».

Задача «идентификации восприятия» возникает в тех случаях, когда организм воспринимает некоторое раздраже­ ние, но не обладает информацией относительно его биологи­ ческой важности (раздражитель «незнаком»). При этом ока­ зывается невозможным и выбор реакции на раздражение. Определение «значения» такого раздражителя и составляет содержание задачи идентификации. Человек может ставить и решать эту задачу на сознательном уровне. Животных побуяодает к ее решению ориентировочный рефлекс. Реше­ ние может достигаться как путем формирования новых по­ нятий и представлений (у человека^, так и путем прямого связывания образа нового раздражителя с образами других, известных ранее. В последнем случае новый раздражитель может приобретать сигнальное значение. Классический ус­ ловный рефлекс представляет пример решения задачи иден­ тификации путем связывания ранее индифферентного раз­ дражителя с другим, имеющим безусловное значение. Здесь мы ограничимся рассмотрением весьма простого варианта задачи.

Пусть в простой среде имеются объекты из класса «пи­ ща» и пусть в соответствующих этим объектам ячейках сре­ ды задана отличная от нуля интенсивность параметра «за­ пах». В среде находится М-автомат, способный к осуществ­ лению действий-шагов. Предположим, что объект «пища» известен автомату в том смысле, что восприятие такого объ­ екта вызывает реакцию приближения к нему. Это означает,

Рис. 63. М-сеть автомата.

что между i-моделями объекта и действий-шагов есть соот­ ветствующие связи. Предположим также, что автомат может воспринять «запах», но «не знает» зиачеиия этого парамет­ ра, т. е. i-модели запаха не имеют связей с другими i-моде- лямп сети. Пусть в течение некоторого времени Т автомат перемещается в среде и воспринимает как объекты «пища», так и связанный с нпмп «запах». Будем полагать, что авто­ мат решает задачу идентификации параметра «запах», если по прошествпп времени Т этот параметр приобретает для него сигнальное значение, т. е. восприятие «запаха» вызы­ вает выполнение автоматом реакции приближения (соответ­ ствующих шагов).

довательно, постоянное его выполнение. Результаты экспе­ римента графически изображены на рис. 68, где показано изменение во времени возбужденностей i-моделей автомата. Графики иллюстрируют приведенное выше качественное опи­ сание процесса обучения.

Следует остановиться на рассмотрении двух особенностей поведения автомата, обнаруженных в ходе эксперимента. Пер­ вая из них состоит в том, что последовательность пробных действий в ходе поиска, вообще говоря, не является случай­ ной. Анализ работы автомата показывает, что вид этой по­ следовательности определяется (при заданной системе свя­ зей в М-сети) структурой ситуации, в которой находится автомат. Это соответствует и интуитивному представлению о разумности поведения: в незнакомой ситуации человек или животное испытывает прежде всего то действие, которое по­ чему-либо представляется «естественным», «напрашивается» и т. п. Смысл такого рода терминов может быть несколько уточнен при установлении аналогий между поведением жи­ вых организмов и автоматов описываемого типа.

Вторая особенность поведения М-автомата состоит в сле­ дующем. Из рис. 68 видно, что графики возбуждения i-мо­ делей Пр и НПр представляют собой гладкие кривые, в то время как возбуждение этих i-моделей увеличивалось алго­ ритмом Вг дискретно, в каждый момент времени на постоян­ ную величину. На содержательном уровне это означает, что автомат «субъективно искажает» значения предъявляемых ему поощрений и наказаний или, точнее, формирует внутреннее представление поощрения и наказания, которое

Пр НПр

ОО

i-Модели ситуаций

О О О

шагоЗ

Выражение в скобках правой части есть степенной ряд, сле­ довательно,

Таким образом, при непрерывном предъявлении автома­ ту наказания V эффективная («субъективная») величина наказания стремится к УЭф. Динамика изменения эффектив­ ной величины наказания при различных а иллюстрируется графиками на рис. 69. С помощью выражения для Р3ф мож­ но описать также изменения «эмоционального» фактора об­ учения Дг при смене характера подкрепления (появление поощрения после наказания и наоборот). В качестве приме­ ра на рис. 69 приведены кривые (штриховые линии) изме­ нения величин П пр , П нпр и А в случае, когда после ряда наказаний автомат начинает получать поощрения. Момент изменения характера подкреплений отмечен на оси времени стрелкой. Видно, что поощрение «воспринимается» автома­ том не сразу: в первый момент А мало и лишь со временем достигает значения, соответствующего реальной величине поощрения. Длительность этого процесса определяется «предысторией» автомата: чем меньше наказаний получил автомат до момента смены характера подкреплений, тем большим оказывается начальное значение Д (точки А, А', А" на штрихпунктирной кривой). Описанные процессы соот­ ветствуют некоторым интуитивным представлениям о дина­ мике эмоциональных состояний.

ченно во времени. В этих условиях процесс обучения может быть затруднен или нарушен, поскольку на выбор реакцип в любой из ситуаций могут влиять результаты проб, выпол­ ненных в остальных п — 1 ситуациях. Эксперимент строил­ ся следующим образом. Автомат помещался в ячейку А сре­ ды, изображенной на рис. 70. Среда содержала четыре «осо­

указаны на рис. 70 стрелками. При выполнении разрешен­ ного шага возбуждалась i-модель Пр, неразрешенного — НПр. Основное обучение автомата проводилось на участке среды L , разделенном на одинаковые «классы» I и П. Начи­ ная поиск в ячейке Л, лежащей в области I класса, автомат перемещался во I I класс после выполнения первой удачной пробы. Перемещение осуществлялось в соответствии с при­