10.5.4. Формирование поведения путём последовательного приближения

Стандартный вариант оперантного научения оказался не пригоден для формирования сложного поведения, состоящего из упорядоченной последовательности действий, которые должны следовать одно за другим пока не будет достигнута конечная цель. Скиннер предложил рассматривать путь предстоящего научения в виде сменяющих друг друга этапов и подкреплять правильные действия животного при переходе от этапа к этапу. Этот способ формирования сложных образцов поведения получил название метода последовательного приближения. Если вознаграждать животное за каждое действие, приближающее к конечной цели, то постепенно эта цель может быть достигнута, а выработанный в процессе дрессировки навык сложного поведения сохраняется.

Для того чтобы научить крысу нажимать на рычаг в ящике Скиннера, в первых опытах её учат находить кормушку, в которую экспериментатор периодически отправляет шарик твёрдого корма. После этого крысу учат подходить к кормушке по щелчку, который всегда предшествует появлению корма. После того, как крыса научилась подбегать к кормушке сразу после щелчка, поблизости устанавливают рычаг манипулятора и дают подкрепление за приближение к нему. На следующем этапе подкрепляют обнюхивание рычага, а затем прикосновение к нему и, наконец, нажимание на рычаг. После этого корм подаётся автоматически после каждого воздействия на рычаг, который постепенно поднимается и крысе приходится к нему тянуться. Наконец, рычаг оказывается настолько высоко, что крысе приходится вставать на задние лапы, чтобы до него дотянуться – только в этом случае она получит подкрепление.

10.6. Латентное научение

Ортодоксальная теория бихевиоризма противопоставила себя психологии, когда свела изучение поведения к констатациям стимулов и реакций. Она вывела за пределы научного исследования механизм побуждения к действиям и познавательные аспекты научения, действующие между стимулами и ответными реакциями. Ограниченность такого подхода не позволяла объяснить причины поведения животных, изменённого вследствие образования ассоциаций между индифферентными раздражителями или в отсутствии явного подкрепления. Приобретение новых навыков в таких условиях получило название латентного научения. Американский психолог Эдвард Толмэн (Tolman E.C.), начинавший свою научную деятельность в 1910-х годах как бихевиорист, позже пришёл к выводу, что подопытные животные учатся находить пищу в лабиринте не механически, а на основе запоминания пространственного расположения его коридоров.

Если в течение десяти дней помещать крыс в лабиринт, не давая им никакого подкрепления, то в их поведении не обнаруживаются результаты научения: такие крысы редко посещают кормушку. Однако пребывание в лабиринте не проходит безрезультатно, и, как только, вводится пищевое подкрепление, крысы почти мгновенно обучаются находить кратчайший путь к кормушке. Если этот путь перекрывается, то крыса тотчас идёт по обходному пути, а, если коридоры лабиринта залить водой, она добирается до кормушки вплавь. Крысы не знакомые ранее с лабиринтом значительно дольше учатся совершать указанные действия, поскольку у них не было предшествующего латентного научения.

Если объяснять поведение животных в лабиринте в соответствии с концепцией Скиннера, то они должны запоминать повороты налево или направо как следующие друг за другом этапы последовательного приближения к конечной цели. В действительности стратегия поведения выглядит иначе, она связана с формированием общего представления об устройстве лабиринта. Основываясь на результатах исследования поведения крыс в лабиринте, Толмэн пришёл к заключению, что истинный смысл обучения состоит в приобретении новых знаний, а не в механических связях между стимулами и реакциями. Изменение поведения, по мнению Толмэна, следует объяснять не только результатом подкрепления полезных действий, но и определённым преобразованием действующих стимулов среды в мозгу, приводящим к созданию когнитивной карты (см. раздел 8.4.2). Это означает, что животные усваивают значение стимулов, выучиваются знаниям «что к чему ведёт» и «что откуда следует», т.е. устанавливают причинно-следственную связь между своими действиями и достигаемыми результатами. Именно поэтому животные быстро догадываются, где находится корм, при любых перестройках лабиринта. Такая концепция научения определяется как когнитивная.

Справка 10.1. Инструментальный условный рефлекс у обезглавленного таракана

Если подвесить обезглавленного таракана над ванночкой, заполненной водой или солевым раствором, то его опущенные лапки погружаются в раствор. Если в момент прикосновения лапок к жидкости замкнуть электрическую цепь, чтобы ток проходил через лапки к телу таракана, то лапки сгибаются и некоторое время остаются согнутыми. Повторение этого опыта приводит к тому, что лишённый головы таракан (такой объект обычно определяется термином «препарат») сгибает лапки, как только они коснутся жидкости и может удерживать их в этом состоянии в течение нескольких часов. Полученный феномен представляет пример долговременной регуляции позного рефлекса, при которой происходит увеличение частоты эфферентной импульсации к мышцам, поднимающим лапки. Не только у обезглавленного таракана, но даже у фрагмента его тела вырабатывается сходная реакция, если такой фрагмент содержит брюшной ганглий, пару конечностей и управляющие ими мышцы. С позиции ортодоксального бихевиоризма наблюдаемый результат свидетельствует о том, что обезглавленный таракан (препарат) «научился» избегать раздражения электрическим током. Легче принять другую точку зрения, в соответствии с которой инструментальное обучение является искусственно изолированной частью всего процесса научения. То же самое можно сказать и по поводу классического условного рефлекса.

Справка 10.2. Объект исследования бихевиоризма ограничен

« Бихевиоризм изучал только те изменения поведения, которые непосредственно вызывались стимулами, исходящими от экспериментатора и побуждающими животное к действию. Бихевиористы - экспериментаторы чаще всего не принимали во внимание изменений в поведении, возникающих в результате эмоциональных процессов в механизме самоконтроля. Они не придавали должного значения и структурным законам, лежащим в основе изменчивости поведения. Результаты их экспериментов, проведённых главным образом на животных, обедняли теорию бихевиоризма, которая в настоящее время нуждается в уточнении за счёт фактов, связанных с деятельностью мозга.

С позиций бихевиоризма изменения поведения происходят благодаря подкреплению. А что же такое подкрепление? Перед последовательными сторонниками бихевиоризма подобный вопрос не возникает: их интересует только описание тех явлений окружающей среды, которые вызывают эффект подкрепления. Однако заметим, что даже согласно такому узкому определению, подкрепление должно быть каким-то процессом. Этот процесс должен протекать внутри организма и, таким образом, быть доступным для психологического исследования.

Бихевиористы, занимавшиеся изучением природы процесса научения, провели множество сложных теоретических и экспериментальных научных исследований, в которых представлены главные точки зрения. Согласно одной из них, известной как теория ассоциаций, предполагается, что научение достигается благодаря повторению событий.

Согласно другой позиции, которой придерживаются сторонники теории влечений и установок, для достижения определённых результатов в научении необходимо изменение внутреннего состояния организма. Одна лишь ассоциативная концепция оказывается несостоятельной для анализа того, что происходит в мозгу при научении»⁴.

Справка 10.3. Вербальное поведение

В 1957 году появилась книга Скиннера «Вербальное поведение» (“Verbal behavior”), объясняющая овладение ребёнка языком с позиции теории оперантного научения. Скиннер пытался в ней доказать, что свои первые слоги, а затем и слова ребёнок начинает произносить правильно только потому, что получает за это похвалу родителей. Когда из несвязного детского лепета случайно образуется слог «ма», счастливая мать принимает его на свой счёт и хвалит ребёнка. Повторение этого слога дважды даёт ещё больше поводов для похвалы. Постепенно, слог за слогом в языке ребёнка закрепляются механизмы фонации и артикуляции, создающие его первые слова. Возникнув случайно, они сохраняются в случае подкрепления либо не сохраняются, если они ничего не значат и взрослые ни них не реагируют. Согласие с доводами Скиннера заставляет признать, что язык является продуктом выборочного подкрепления правильных звуков речи по общим правилам образования оперантных условных рефлексов.

Выдающийся специалист в области лингвистики Ноэм Хомский (Chomsky N.) выступил в 1968 году с разгромной и хорошо аргументированной критикой гипотезы Скиннера. В противоположность ей Хомский доказывал генетически обусловленную способность речевых структур мозга человека формировать необходимые для усвоения языка связи между нейронами. Запрограммированная упорядоченность таких связей позволяет любому нормальному ребёнку усваивать грамматические правила той языковой среды, в которой он растёт. Объяснить этот процесс в терминах оперантного обусловливания невозможно.

Вопросы для самоконтроля

201. На крысу периодически действует электрический ток, проходящий по проволочному полу клетки. Спасаясь от неприятных ощущений, животное переходит на другую половину клетки, где ток не включен. Если перед действием тока подавать звуковой сигнал, то со временем крыса начнёт перебегать на другую половину клетки по одному лишь звуковому сигналу, ещё до того, как будет включён ток. Чем является приобретённая поведенческая реакция животного?

А. Классический условный рефлекс.

Б. Классический условный рефлекс второго порядка.

В. Инструментальный рефлекс на основе первичного подкрепления.

Г. Инструментальный рефлекс на основе вторичного подкрепления.

Д. Когнитивное научение.

202. Запущенная в Т-образный лабиринт крыса первоначально с одинаковой вероятностью посещает как правый, так и левый его рукава. Если же в левом рукаве крысу каждый раз станет встречать болезненный разряд электрического тока, пропущенного через пол, то вскоре она перестанет туда заходить, предпочитая оставаться в правом рукаве. Как принято называть такое поведение?

А. Оперантное поведение

Б. Респондентное поведение.

В. Сенситизация.

Г. Когнитивное научение.

Д. Ориентировочный рефлекс.

203. Многие молодые собаки далеко убегают от хозяина во время прогулки. Знаменитый этолог Конрад Лоренц отучал собаку убегать, скрытно стреляя в неё из рогатки при всякой попытке удалиться. В результате его собака начинала гулять поблизости от хозяина. Какой механизм лежит в основе подобного научения?

А. Сенситизация.

Б. Классическое обусловливание.

В. Латентное научение.

Г. Респондентное научение.

Д. Оперантное научение.

204. Приехавшему гостю хозяева постелили в комнате, в которой на стене висели часы с громко тикающим маятником. Первую ночь гость спал плохо, поскольку ему мешали часы, но уже на вторую ночь, проведённую в этой же комнате, он спал как обычно и не замечал мерного хода маятника. Чем можно объяснить изменения в поведении этого человека?

А. Угасательное торможение.

Б. Дифференцировочное торможение.

В. Оперантное научение.

Г. Реакция габитуации.

Д. Реакция сенситизации.

205. Человек испытал сильную боль во время лечения зуба, после чего стал вздрагивать в ответ на безболезненные касания стоматологическими инструментами его зубов и дёсен. Каков вероятный механизм, вызвавший изменение обычного поведения?

А. Оперантное научение, обусловленное аверсивным подкреплением.

Б. Оперантное научение, обусловленное вторичным подкреплением.

В. Реакция сенситизации.

Г. Латентное научение.

Д. Классический условный рефлекс.

206. Крыса научилась получать воду из поилки, для чего нажимала на специальный рычаг. Чем служит при формировании такого поведения вода, поступающая из поилки после каждого нажатия на рычаг?

А. Первичным подкреплением.

Б. Вторичным подкреплением.

В. Условным раздражителем.

Г. Безусловным раздражителем.

Д. Различительным стимулом.

207. Как называется режим подкрепления, при котором правильные действия каждый раз поощряются после того, как они были повторены пять раз?

А.Непрерывное подкрепление.

Б. Интервальный режим.

В. Пропорциональный режим.

Г. Произвольный режим.

Д. Вариативный режим.

208. Что из указанного ниже не характерно для инструментального рефлекса?

А. Образуется в результате ассоциации между совершённым действием и его последствиями.

Б. Возникает при пассивном участии организма в целом.

В. Действие должно предшествовать подкреплению.

Г. При отмене подкрепления происходит угасание.

Д. В процессе дифференцировки остаются только подкрепляемые реакции.

209. Что констатирует закон упражнений?

А. Пропорциональную связь между ситуацией и реакцией на неё.

Б. Зависимость между действиями и результатом действий.

В. Образование когнитивной карты.

Г. Скорость поведенческих реакций.

Д. Приобретение индифферентным раздражителем свойств различительного стимула.

210. Что из указанного ниже теория оперантного научения рассматривает в качестве наказания, используемого для воспитания провинившихся детей?

А. Лишение ранее обещанного лакомства.

Б. Отказ приобрести в магазине понравившуюся игрушку.

В. Запрет просмотра ожидаемой телепередачи.

Г. Запрет выходить на улицу в вечернее время.

Д. Принуждение стоять в углу.

1Павлов И.П. Двадцатилетний опыт, С.8.

2 Павлов И.П. Лекции о работе больших полушарий головного мозга, С. 18-19.

3Павлов И.П. Двадцатилетний опыт, С. 8.

4 Прибрам К. Языки мозга. – М.: Прогресс, 1975, С. 283 - 284

14