§3 Формы научения, не связанные с подкреплением

Латентное научение

Названная форма научения практически не связана с «вознаграждением». Ещё в 20-е годы было выявлено, что крысы, имевшие возможность исследовать «учебный» лабиринт в течение нескольких дней без вознаграждения, позже, в условиях опыта с пищевым подкреплением, быстрее проходят нужный путь и делают меньше ошибок, чем контрольные животные, которые раньше не знакомились с лабиринтом. Следовательно, крыса способна по собственной инициативе изучить весь лабиринт путём разведки (без всякого подкрепления), а вознаграждение просто побуждает животное учиться быстрее. Не приходится сомневаться, что латентное научение – это широко распространённая в природе форма ориентации в пространстве и явно выражена в разведочном (исследовательском) поведении животных, имеющих свой «дом». Достаточно вспомнить классические работы К. фон Фриша об ориентационных реакциях пчел. В результате изучения обнаруженного явления, стал оформляться «когнитивный» подход в теории научения. Согласно представлениям Э. Толмена, всё множество сигналов из окружающей среды неизбежно поступает в мозг. Но – даже у человека – одни из них ясно осознаются, другие воспринимаются сознанием очень нечётко, а третьи и вовсе не доходят до сознания. При этом в мозгу создаются своего рода план-схемы окружающей среды, или когнитивные карты, на основании которых организм выбирает, какие реакции будут наиболее адекватными во внезапно возникающей и качественно новой или в неопределённой ситуации.

Похоже, что «ознакомленная» с лабиринтом крыса, отыскивает оптимальные пути к корму не механически. Э. Толменом показано, что если уже отыскавшей кратчайший путь к корму крысе, поставить задачу найти другой, перекрыв известный ей кратчайший ход, то она спонтанно меняет свой маршрут и без всяких «проб и ошибок» находит пищу, но идёт теперь по другому, чуть более длинному (но вполне оптимальному) пути. Можно было бы думать, что животное пошагово «исчисляет» протяжённость ходов и поворотов в лабиринте, но опыт показывает, что если залить коридоры лабиринта водой, то крыса даже вплавь находит правильный путь. Заметим – в данном случае она не идёт, а плывёт по коридору. В новой обстановке животные сначала узнают, «что к чему ведёт», и как бы располагают эти элементы в пространстве, каким-то образом интегрируя все замеченные особенности этого пространства в своей памяти.

Условно-рефлекторное избегание пищи

Этот феномен известен каждому, кто пытался избавиться от домовых мышей или от крыс с помощью ловушек или отравленных приманок. Ключом к пониманию этого явления послужили эксперименты, выполненные в начале шестидесятых годов Д. Гарсиа и его коллегами при анализе вкусового отвращения к пище (так называемого избегания приманки), вызванною отравлением. Эти замечательные исследования привели к лучшему пониманию роли подкрепления при выработке классического условного и инструментального рефлексов. Дикие крысы, которые выжили после отравления, начинают избегать приманки, пользуясь вкусом и обонянием, они остерегаются приманок, однажды вызвавших у них болезненные явления, но никогда не избегают мест, где случилось отравление. В целом это напоминает выработку классического условного рефлекса: стимул (проглоченная отравленная пища), сочетаясь с условным стимулом (необычный запах и вкус отравленной пищи), вызывает безусловную реакцию (болезнь), что приводит к выработке условной реакции (избеганию такой пищи). Однако эти явления радикально отличаются от классического условного рефлекса в двух отношениях.

При выработке классического условного рефлекса оптимальный интервал между условным стимулом и подкреплением составляет доли секунды. Если подкрепления хотя бы слегка задерживается, процесс выработки рефлекса становится менее эффективным или даже совсем не идёт. При вкусовом отвращении, вызванном отравлением, отрицательное подкрепление (отравление) может быть отсрочено от условного стимула (пищи) несколькими часами. Кроме того, приобретённое отвращение обнаруживает специфичность по отношению к конкретному вкусу и запаху пищи; трудно вызвать отвращение к другим условным стимулам, скажем, слуховым, зрительным или пище иного рода. Поведение крысы в такой ситуации заставляет предполагать, что мозг этого ночного животного, которое при поиске пищи руководствуется главным образом вкусом и запахом, приспособлен к тому, чтобы ассоциировать болезнь с такими относящимися к пище стимулами, как вкус и запах, но не со слуховыми или зрительными. Напротив, птицы – едоки преимущество «зрительные». Они легко ассоциируют болезнь со зрительными стимулами, но не с вкусовыми. Исследования Гарсиа показали, что у животных легко создаются ассоциации между событиями, существенными для выживания. По сравнению с произвольными ассоциациями, биологически важные связи закрепляются легче и сильнее сопротивляются угашению; при их выработке возможна также большая задержка с подкреплением. Поскольку отравление часто проявляется спустя много времени после употребления яда, то такой процесс научения, допускающий большую отсрочку подкрепляющего стимула, даёт значительное селективное преимущество.

Хотя описанное поведение хорошо знакомо всем, кто работал с животными, оно вызвало растерянность у нейрофизиологов классической формации. Они пытались всеми силами спасти привычные представления. Делались предположения, что животные в го время, когда стали чувствовать себя плохо, оказались способны формировать ассоциации с некоторыми остаточными ощущениями пищи, находившейся в желудке. Это предположение было снято опытами С. Роуза с цыплятами:

Я предлагал цыплятам смоченную водой зелёную бусину, которую, как я и ожидал, они энергично клевали. Через полчаса я вводил им хлористый литий, они слегка заболевали, потом выздоравливали, и спустя три часа им предъявлялась та же бусина. Разумеется, они её не трогали, они уже знали, что «зелёная мокрая бусина» нехороша. Тогда я изменил план эксперимента и вместо влажной давал цыплятам сухую бусину. Они клевали её, потом, как и раньше, заболевали и в последующем отвергали зелёную бусину, хотя продолжали клевать красную и хромированную. Очевидно, что в этом случае не могло идти речи о каком-то остаточном вкусе, который ассоциировался с болезненным состоянием. Возможно было только одно объяснение: у цыплят, впервые клевавших новую бусину, формировалось некое «представление» о зелёной бусине – «модель», которая удерживалась в мозгу по меньшей мере полчаса и в это время не сочеталась ни с приятным, ни с неприятным ощущением, была просто нейтральной. В последующем у них создавалась ассоциация (теоретически незаконная!) между этим возникшим ранее представлением о бусине и ощущением дискомфорта, что заставляло их отвергать после этого зелёную бусину.

Обучение было «разовым», здесь цыпленку достаточно было однажды клюнуть бусину, чтобы извлечь урок. Отсюда и название – «реакция избегания», так как цыпленок переставал делать то, что непременно сделал бы в иных условиях. Избегание было «пассивным», так как птенец просто отказывался клевать «противные» бусины, чтобы избежать впоследствии неприятных ощущений.

Имитационное научение

Научение путём подражания какому-то образцу хорошо известно у животных с развитыми социальными формами жизни. Многие формы социальной активности осваиваются молодыми животными благодаря наблюдению за другими особями из своего ближайшего окружения, которые служат «моделями» для овладения такими формами и для целесообразного их использования. Имитационные способы научения широко распространены среди птиц.

Нечто подобное мы встречаем у певчих птиц которые правильно поют лишь в том случае, когда имеют возможность слышать песню других особей своего вида. Молодой зяблик, который воспитывался в неволе и никогда не слышал пения других зябликов, гак и не будет петь правильно Всё, на что он способен в этом случае,– это лишь какое-то «неразборчивое» щебетание. Если на протяжении тех недель, в течение которых формируется песня, молодой самец будет слышать пение старого, опытного зяблика, то и у него разовьётся нормальная, характерная для вида песня Талант имитации звука у некоторых видов птиц достигает большого совершенства.

... Один мой немецкий коллега провёл удивительный эксперимент со снегирём. Молодого самца выкормила самка канарейки. Воспитываясь в окружении птиц другого вида, этот снегирь настолько точно воспринял их песню, что его пение ничем не отличалось от пения канареек. Позже этот самец вместе с самкой своего вида вырастил выводок молодых снегирей, среди которых было два самца, полностью перенявших от отца канареечную песню. Одного из них увезли в другое место. Там к нему подсадили самку его же вида. Прошло два года, и один из потомков этой пары, самец, был возвращён моему коллеге. Каково же было его удивление, когда оказалось, что внук нашего первого снегиря в совершенстве имитировал песню канарейки, которой его дед научился четыре года назад.

Имитационные способы совершенствования поведения подразделяют на собстенно «подражание» и «викарное» научение.

Подражание – это способ научения путём прямого копирования деятельности или действий без оценки их назначения. Данный способ научения не является видоспецифичным и даже не всегда целесообразен. При «имитационном решении» практических задач, в нём обязательным элементом является стадия «наблюдения». У животного «зрителя» может (на основе простого созерцания) сложиться представление о «необходимой» последовательности действий, способных привести к желаемой цели. Способность к подражанию установлена только у млекопитающих (обезьян, собак, кошек, мышей). В наибольшей степени подражание характерно для приматов и не зря его называют «обезьянничаньем». Часто это бывает бесцельный имитационный «этюд». Но здесь может иметь место и увязывание случайных элементов поведения модели в состав цепочек вполне направленных акций. Японские этологи, изучавшие поведение обезьян в естественных условиях, обратили внимание, что когда животные привыкли к присутствию людей, то они сами стали внимательно наблюдать за ними. Вскоре учёные заметили, что молодые животные стали, подражая им, мыть в воде бататы перед едой. Вслед за молодыми этот навык освоили все особи стада, за исключением самых старых, которые были к этому совершенно не способны. Ясно, что в данном случае речь идёт о чистом подражании, поскольку смысл процедуры был совершенно не понятен животным.

Несколько иным вариантом подражания являются имитации обезьянами действий человека при их содержании в домашней обстановке. Производимые ими манипуляции с предметами быта и инструментами, конечно же, не являются видоспецифичными, к примеру, для шимпанзе. Здесь вся жизнь животного насыщена снятыми с человека образцами поведения (что человеком и поощряется). Зоопсихологи такой тип имитационного поведения называют «факультативным» подражанием (рис. 18).

Викарное научение - это снятие формы поведения в качестве «технологического образца» (аналога) для достижения желаемой цели. В данном случае снятие и усвоение модели поведения происходит в зависимости (с учётом) от последствий, которые имели место для того субъекта, с которого копируется «образцовая» форма, или для самого «подражателя». То есть здесь можно увидеть своеобразные, но упрощенные элементы когнитивных процессов. В естественных условиях подобным образом молодые хищные животные обучаются приёмам охоты. Викарные формы научения легко распознаются у обезьян, и успешное снятие социально значимых поведенческих акций молодыми обезьянами у старших часто повышает их социальный (иерархический) ранг. К социальному успеху могут привести какие-либо необычные «копии поведения». Так описывается курьёзный случай:

Молодую мартышку из цирка сдали в зоопарк, и она попала в общую клетку, Где жила группа обезьян со своей группировкой молодых. Её никуда не приняли и она сидела в углу в позе покорности, если пыталась подойти к миске с пищей – её отгоняли. Хозяин зашел ее проведать. «Она не привыкла есть из миски руками и чтобы миска стояла на полу. Её учили есть в одежде за столом и ложкой» Одежды и стола мартышке, конечно, не дали: «У нас зоопарк, а не цирк». Но ложку дали. Она подошла к миске и ловко начала есть ложкой. Мартышки расступились. Мартышки изумились не ложке, ложка им хорошо знакома, а мастерскому, как у людей, с ней обращению. Сам старый самец подошел к мартышке и протянул руку к ложке. Он не потребовал, а попросил. И цирковая мартышка за то, что м астерски ест ложкой, была принята в группу, опередив других молодых

Но в наивысшей степени викарное научение свойственно людям. Копирование стиля одежды и манеры держаться у модных «кумиров» – это своеобразное проявление тяги к научению Правда, с помощью весьма примитивной инстинктивной программы.

Эвристическое научение

Уже известные нам опыты Кёлера над обезьянами, которые доставали банан с помощью надставных палок, привели его к выводу, что у высших животных научение в большинстве случаев обусловлено не созданием механических ассоциаций между каким-то стимулом (стимулами) и реакцией. Скорее, они пользуются чем-то вроде метода аналогий, прибегая к объединению опыта, накопленного в памяти, с той информацией, которую получают, исследуя конкретную «проблемную ситуацию». Такой способ решения задач, основанный на внутреннем (не контролируемом!) связывании элементов предыдущего опыта, из которых складывается новое решение, называется по-разному. В англоязычной литературе – инсайт (постижение, проникновение в суть, понимание), во французской литературе – интуиция (intuition – чутьё, догадка). Нередко такой метод называют эвристическим, поскольку решение проблемы приходит внезапно, без проб и ошибок, и, конечно, без логического рассуждения. Название пошло от известного «озарения» Архимеда, открывшего свой знаменитый закон (о выталкивающей силе, действующей на тела, погруженные в жидкость), купаясь в ванне, когда он внезапно выскочил из неё, закричав – «Эврика!».

Гораздо отчётливее, чем у Кёлера, способность к эвристическому решению задач демонстрируют опыты с шимпанзе, описанные В. Фишелем (рис. 19):

Перед клеткой обезьяны построена из досок простая, прямоугольная система ходов. Сверху она открыта и по форме напоминает подкову со спрямлёнными углами. Её открытые концы доходят до решетки клетки, в которой сидит обезьяна. В ходе опыта в дальнюю поперечную часть системы ходов кладётся яблоко, до которого обезьяна не может дотянуться. Но она получает палку, и у неё появляется возможность подкатить к себе приманку. При этом ей предстоит сделать выбор, по какому ходу катить яблоко – левому или правому. Один из них перегорожен едва заметной решеточкой из тонкой проволоки. Все это сооружение назвали «экспериментальной установкой с двумя ходами» Может случиться (и так действительно часто случается), что подопытное животное уже с первой попытки правильно подкатывает яблоко по правому, свободному ходу и съедает его. Но возникает вопрос, а не является ли успех шимпанзе случайным. Для ответа на него решёточку переносят в правый ход. Если обезьяна и теперь изберёт правую сторону, то есть повторит действие, которое в прошлом принесло успех, яблока она не получит. В большинстве случаев обезьяна предвидит это и катит яблоко по свободной стороне, пока оно не окажется в пределах досягаемости. Намного интереснее и, с научной точки зрения, гораздо убедительнее, когда обезьяна начинает неправильно катить яблоко, но очень быстро поправляется. В этом случае шимпанзе некоторое время подталкивает яблоко в ту сторону, которая перегорожена, но вдруг останавливается, откатывает плод назад, а потом по свободному ходу подкатывает его к своей клетке. Именно прекращение действия, начатого без учета возможности достичь успеха, и делает это поведение столь интересным для исследователя. Вероятно, только в этот момент животное, учитывая последствия своих действий, замечает, что в случае их продолжения оно не сможет получить яблока.

Что-то похожее происходит и в нашей голове, когда мы вдруг начинаем понимать суть мучавшей долгое время проблемы. Тогда внезапно обнаруживаешь, что «яблоко ты катишь не в том направлении».

Исследование отсроченных реакций

Впервые вопрос о том, могут ли у животных (а также у маленьких детей) возникать «представления», был прямо поставлен молодым исследователем из Чикагского университета У. Хантером еще в 1913 году. Он разработал метод, подтверждающий это предположение. Суть отсроченных реакций состоит в том, что подопытное животное должно запомнить, где спрятана приманка, и найти её потом или использовать запомненное место для того, чтобы по «простому закону» определить – куда она перепрятана. В опытах У. Хантера на глазах у ребёнка или животного какое-то лакомство, например кусок шоколада, прятали в разных местах при последовательных пробах. При каждой пробе либо ребёнка помещали в другое место, либо между ним и местом, где спрятано лакомство, ставили ширму. Несколько минут (или даже часов) спустя, ребёнка допускали к месту, где было спрятано лакомство, причем это место, каждый раз менялось. Если ребёнок найдёт лакомство, значит у него сохранилось «представление» о спрятанном лакомстве и месте, где оно спрятано, и это представление сохраняется в течение интервала между тем моментом, когда шоколадка была спрятана, и моментом, когда она была обнаружена. Оказалось, что как дети, так и большинство животных хорошо справлялись с этой задачей, что доказывало их способность к припоминанию. Изучение отсроченных реакций по описанным методам стало в 50–70-х годах применяться в опытах с искусственным нарушением структуры отдельных участков головного мозга, что положило начало исследованиям центральных механизмов памяти.

Импринтинг

Открытие явления импринтинга потрясло психологов и нейрофизиологов. Это психическое явление, в результате которого в строго определённые периоды жизни животных запускаются процессы запоминания «образа» специфических ключевых стимулов, которые способны инициировать включение комплексов врождённых реакций (инстинкты).

От классических форм обучения импринтинговый тип отличается тем, что:

впечатанный образ настолько прочен, что способен необратимо влиять на способ запуска (пробуждения) инстинктивных программ;

процесс импринтирования не требует множества повторностей и подкреплений – он может быть завершён поле однократного предъявления «образца»;

открытость психики животного к импритингу (сенситивный период) строго лимитирована по времени (рис. 20). Если в этот период впечатывания ключевого стимула не произошло, то данная программа запускается не полностью, искажённо либо не запускается вообще. Это несмотря на то, что в геноме она существует и в организме есть все необходимые структурные и функциональные предпосылки для её реализации. Heт только психических (идеальных, символических) средств.

С читается, «... что запечатлен может быть почти любой предмет, как бы он не отличался от самого животного. Лоренц приводит в качестве примера случай, когда попугайчик запечатлел целлулоидный шарик для пинг-понга. Попугайчик воспринимал его как полового партнера и ласкал шарик, как будто это была голова самки. У других птиц диапазон возможностей запечатления не столь широк. Так, воронята не будут добровольно следовать за человеком, поскольку у него отсутствуют некоторые специфические черты, свойственные взрослым воронам,– способность летать и чёрная окраска; возможно, здесь важна и иная форма тела. Фабрициус, работавший с различными видами уток, обнаружил, что в первые часы жизни ни характер движения, ни размеры, ни форма не являются определяющими. Более того, это же можно сказать и о кряканье, которому Лоренц придавал особое значение; тот же результат дают самые разнообразные короткие звуки, следующие один за другим. В первые часы жизни утята реагируют на самые грубые и простые раздражители, но в последующие часы реакция в значительной степени специализируется и утёнок фиксирует характерные признаки повстречавшегося первым предмета. Чувствительность ограничивается какими-нибудь несколькими часами...».

Нередко импринтированные в раннем возрасте ключевые стимулы могут «охватить» не одну, а две (или более) инстинктивных программы. Так, например, ранний импринтинг у гусят и утят, показывает им не только: а) за кем надо следовать, чтобы быть под защитой, чтобы научиться правильным технологиям выживания, но и – б) с представителем какого вида надо спариваться после полового созревания. Подстановка в стадии импринтинга (в искусственных условиях) вместо матери другого предмета предрешает, что этот предмет или сходный с ним станут объектом полового влечения. И эта закономерность распространяется не только на птиц, но и на млекопитающих (вплоть до обезьян). У обезьян детеныши больше зависят от родителей, поэтому у них импринтинг происходит позднее, но выражен сильнее.

Таким образом, за истёкшее столетие был обнаружен целый ряд механизмов обучения, которые обеспечивают избирательное обогащение сложных (и очень сложных) адаптивных реакций животных. Особенно впечатляют те врожденные программы, в которые заложены возможности к расширению за счёт самообучения, комбинирования разных приёмов и запоминания успешных целесообразных комбинаций действий.

Когда сорок лет назад большие синицы в Англии начали выковыривать картонные затычки из бутылок с молоком, стоявших у входа в дома, эта весть облетела весь мир. И примерно с такой же скоростью (а точнее, со скоростью распространения по миру такой формы упаковки молока) этот приём стали обнаруживать у синиц в других странах. С тех пор синицы уверенно соревнуются с прогрессом людей в этой области: появляются бутылки с пробкой из фольги – птицы тут же научились их расковыривать; когда молоко спрятали в коробки, они быстро приноровились вскрывать коробки самой разной формы; спряталось молоко в мягкие непрозрачные пластиковые мешки – нашли управу и на них. Теперь уже ни форма, ни цвет, ни материал упаковки не имеют значения; синицы хорошо усвоили, что молоко очень хитрое, маскируется не хуже насекомых, но и они, птицы, не лыком шиты; отбор заложил в них довольно приёмов, как выискивать насекомых.

Огромные возможности заложены и в тех программах, которые предполагают возможности или даже императив – учиться подражанием. Это особенно важно для детёнышей. Подражать можно родителям, более старшим и опытным особям своего вида. Многие инстинктивные программы поведения настолько сложны, что требуют специальной подгонки, отработки и коррекции, прежде чем они станут по-настоящему целесообразными для молодых животных. Чаще всего они отрабатываются в особых имитационных ситуациях, включающих положительные мотивации – в играх. Но дидактические цели могут достигаться в каких-либо важных коллективных акциях. К. Лоренц относит к числу таких акций способность коллективного противостояния хищнику слабо вооруженными животными и птицами, способность к контратаке со стороны стадных животных против хищника, называемую «травлей» или «мобингом». Нападение на хищника-пожирателя имеет очевидный смысл для сохранения вида, и даже если каждый член стаи мал и безоружен, он причиняет нападающему чувствительные неприятности. У таких акций может быть и дополнительная обучающая функция:

Особенно интересна функция травли у ряда птиц с высокоразвитой общественной организацией, таких, как галки и многие гуси. У первых важнейшее значение травли для сохранения вида состоит в том, чтобы показать неопытной молодежи, как выглядит опасный враг. Такого врожденного знания у галок просто нет. У птиц это уникальный случай традиционно передаваемого знания Гуси же, на основе строго избирательного врожденного механизма, «знают»: нечто пушистое, рыже-коричневое, вытянутое и ползущее – чрезвычайно опасно. Однако и у них видосохраняющая функция «мобинга» – со всем его переполохом, когда отовсюду слетаются тучи гусей, – имеет в основном учебную цель Те, кто еще не знал, узнают: лисы бывают здесь".

Таким образом, обнаруживается, что механизмы, способствующие целесообразному научению молодых животных сложным акциям поведения, канализирующие «обучение», появились у общественных животных задолго до человека. Конечно, «технологии обучения» в сообществах животных совершенно неосознанны, инстинктивны и реализуются только в коллективах.

Однако учиться всему и у всех бесполезно. Поэтому у животных существуют врождённые программы «знания» – когда, чему и у кого надо учиться. Именно такие знания могут быть более или менее жёстко встроены в ранние программы импринтинга.