7.2 Ассоциативное обучение

Ассоциативным называется такое обучение, при котором в ЦНС формируется временная связь между двумя стимулами, один из которых первоначально был для животного безразличен, а другой исполнял роль вознаграждения или наказания, являясь оператором какого-либо безусловного рефлекса.

Условные рефлексы – это индивидуально приобретенные системные приспособительные реакции на основе образования в центральной нервной системе временной связи между условным (сигнальным) раздражителем и безусловно-рефлекторным актом или иным паттерном поведения.

Все условные рефлексы делятся на: 1) классические условные рефлексы; 2) инструментальные условные рефлексы; 3) дифференцировочные условные рефлексы.

7.2.1 Классические условные рефлексы (павловские условные рефлексы, условные рефлексы первого рода, респондентное обучение)

Классическими называются такие условные рефлексы, при которых последовательность событий никак не зависит от поведения животного, и временная связь между условным сигналом и безусловной реакцией возникает непроизвольно в силу временного контекстуального совпадения условного стимула и безусловной реакции.

Эти рефлексы были впервые описаны И.П.Павловым. В 1902 году. Анализируя нервную регуляцию процесса пищеварения, он обнаружил так называемое психическое слюноотделение. Феномен заключался в выделении у животного слюны, которая стекала в пробирку через фистулу на щеке еще до попадания пищи в рот, т.е. «заранее, в опережающем режиме», как только собаку приводили в экспериментальную комнату (рис. 7.3.) и помещали в станок.

Рис. 7.3. Экспериментальная установка для выработки условных рефлексов в лаборатории И.П.Павлова.

В своих дальнейших опытах Павлов ограничивал движения голодной собаки лямками и давал ей небольшие порции пищи через правильные промежутки времени. Когда он предварял подачу пищи внешним стимулом, например звонком, поведение собаки по отношению к этому стимулу постепенно менялось. Животное начинало поворачиваться к звонку, облизываться и выделять слюну. Когда Павлов стал систематически регистрировать слюноотделение, вживив животному фистулу для сбора слюны, он обнаружил, что её количество возрастало по мере увеличения числа сочетаний звонка и пищи. Это привело Павлова к выводу, что объем выделившейся слюны или скорость её выделения могут явиляться мерой выработки условного рефлекса. С помощью этой методики можно было количественно анализировать условно-рефлекторную деятельность в процессе её формирования и модификации. Вторым фактором, который по наблюдениям Павлова также может количественно охарактеризовать рефлекс, служит его латентное время. Латентное время – это интервал времени, между подачей условного стимула и безусловнорефлекторной реакцией. В описанных экспериментах латентным временем являлся промежуток времени между подачей звукового сигнала и началом выделения слюны.

Таким образом, справедливо полагая пищу безусловным стимулом (БС), Павлов назвал звонок условным стимулом (УС), подразумевая под этим факт условности в применении данного стимула в качестве релизера реакции слюноотделения. Слюноотделение в ответ на пищу, при этом является безусловным рефлексом, а в ответ на звонок – условным рефлексом (УР).

Основными параметрами, которыми можно количественно характеризовать рефлекс, являются латентное время реакции (время от подачи условного стимула до начала реакции) и сила (выраженность) реакции (например, количество капель слюны в 1 секунду). Сила реакции характеризует условно-рефлекторную деятельность только до подачи безусловного раздражителя, так как тогда, уже проявляется врожденная безусловная реакция. Чем больше выражена реакция на условный стимул и чем короче латентное время рефлекса, тем лучше выработан рефлекс.

В некоторых рефлексах реакция на безусловный раздражитель носит альтернативный характер. Например, мигание глаза не может быть градуировано количественно как количество слюны. В этих случаях количественной мерой, характеризующей силу рефлекса, служит частота правильных реакций. Особенно это характерно для реакций избегания при отрицательном подкреплении.

Условные рефлексы, которые способствуют формированию продуктивной реакции (активных действий, направленных на получение результата), называют рефлексами достижения цели. Рефлексы, которые ограничивают или подавляют другие поведенческие реакции, называют тормозными рефлексами.

Подкрепление. Подкрепление характеризуется не столько своими стимуляционными свойствами, сколько мотивационным значением. Пища действует как положительное подкрепление, только если собака голодна, воздушный толчок действует как отрицательное подкрепление, только если он неприятен животному.

Существует два альтернативных способа подкрепления, ведущие к принципиально разным – противоположным – результатам. Это рефлексы с положительным и отрицательным подкреплением.

Рефлексы с положительным подкреплением – это те, при выработке которых применяется мотивационно благоприятное или желаемое подкрепление. Главным инструментальным свойством положительного подкрепления является то, что оно увеличивает частоту соответствующей реакции или побуждает животное приближаться к источнику подкрепления, возможно даже преодолевая препятствия. Те же рефлексы, в которых применяется мотивационно неблагоприятное подкрепление, например, удары током, т.е. то подкрепление, которого хочется избежать называются рефлексами с отрицательным подкреплением. Отрицательное подкрепление представляет собой некое неприятное (вредное, аверсивное, устрашающее, болевое и т.д.) воздействие. Оно, напротив, снижает частоту соответствующей реакции или заставляет удаляться от источника подкрепления и избегать ситуации в целом, есдли этот источник с ней неразрывно связан. Рефлексы с положительным и отрицательным подкреплением часто называют рефлексами приближения и избегания, соответственно. Особенно часто этот термин применяется по отношению к инструментальным рефлексам.

Условный стимул. Свойства условного стимула играют решающую роль в процессе выработки рефлекса. Условный стимул в процессе выработки должен вызывать определенный уровень активации нервной системы. Поэтому он должен быть достаточно сильным, контрастным и, что самое важное, – новым. Стимул, с которым животное уже успело познакомиться раньше, скорее всего уже проассоциирован с другими явлениями или оценен как индифферентный. Выработка условного УР на такой стимул, хотя и возможна, но будет затруднена, влиянием предыдущего опыта.

Латентное время рефлекса. Латентное время формируется за счет нескольких процессов. Шеррингтон посчитал, что рефлекс сгибания лапы при болевом раздражении, учитывая скорость проведения импульса по волокну, должен быть 27 Мс. На самом деле он оказался равен от 60 до 200 мс. Это время уходит на переключение. Кроме того, нужно время на торможение текущей деятельности, а также на формирование ассоциативной связи между нейрональной цепью безусловного рефлекса и зоной сенсорной коры, отразившей условный стимул. На первых этапах выработки рефлекса, когда ассоциативная связь только начинает формироваться, она охватывает значительное количество нейронных цепей, и выполнение рефлекса требует большого времени. В дальнейшем количество нейронов, формирующих ассоциативную связь, сокращается до необходимого минимума и латентное время сокращается.

Существует прямая (положительная) корреляционная связь между активирующими свойствами условного стимула (сила, контрастность, новизна), значимостью подкрепления со скоростью выработки рефлекса и обратная зависимость с латентным временем рефлекса. Чем выше перцептивные свойства стимула и значимей подкрепление, тем скорее вырабатывается рефлекс и тем меньше его латентное время.

Следует сделать еще одно замечание в отношении латентного времени. При проведении экспериментальных исследований с выработкой классических УР экспериментатором задается интервал времени между подачей условного сигнала и подкреплением. Этот интервал необходим для того, чтобы можно было зарегистрировать наличие условного рефлекса – безусловнорефлекторную реакцию на условный стимул. Чем больше этот интервал, тем больше вероятность зарегистрировать наиболее слабые и ранние проявления условного рефлекса. Однако, одновременно, увеличение интервала между УС и БС ухудшает выработку условного рефлекса. Чем больше интервал времени между УС и БС, тем труднее формируются ассоциативные связи и хуже вырабатывается условный рефлекс, тем более значимым должно быть подкрепление и выше сенсорные свойства УС. В реальном поведении интервал времени задается условиями среды. При этом только упреждающее предъявление УС является чисто экспериментальным условием его выработки, необходимым для регистрации параметров обученности. Возможно формирование УР и ассоциативной связи как при упреждающем, так и при одновременном, а также и при последовательном предъявлении УС. В первом случае рефлекс служит целям сигнальной опережающей предпусковой интеграции, во втором ассоциируется со свойствами БС, дополняя их, в третьем – участвует в механизме акцептора результата действия, характеризуя картину успешного или, наоборот, неуспешного завершения поведения. Однако во всех случаях формирование рефлекса происходит только тогда, когда эта связь оказывается поведенчески значимой – очевидно облегчает поведение, усиливает его адаптивное значение. Действительно, представим, что мы изо дня в день едим какой-то продукт, в который добавляют некое вкусовое вещество, мы привыкаем к его вкусу и это условный рефлекс. Причем вкус данного вкусового вещества, не добавленного, был нам безразличен или даже неприятен (мног8ие пряности обладают в чистом виде неприятным вкусом, например, излюбленная на востоке пряность асафетида или «чертов кал»). Теперь, если нам предложат тот же продукт без добавления данного вещества, то мы, возможно, даже не сможем его есть. При этом УС (вкус добавки) и БС (вкус пищи) действуют одновременно. Примером третьего случая временного сочетания УС и БС может быть следующая ситуация. Мы останавливаемся перед окном и ощущаем струю холодного воздуха – нам холодно или неприятно (БС). Мы закрываем окно и слышим щелчек оконного замка, свидетельствующего о том, что окно закрыто. Это тоже условный рефлекс, выработанный в результате нашего «общения» с данным замком, и УС действует после БС, но только после щелчка мы прекращаем поведенческий акт по закрытию окна, вызванный БС – реакцией на струю холодного воздуха.

При выработке классического условного рефлекса появление безусловно-рефлекторного акта не требует действий животного. По мнению Павлова сочетание УС с БС ведет к образованию связи между ними. УС становится заменителем БС, приобретая способность вызывать реакции, вызываемые БС. Условный раздражитель включается в представление о свойствах БС. Эту концепцию называют теорией замены стимула. Здесь имеет место именно замена стимула, так как условный стимул не влияет на последствия безусловного и поэтому он не может быть следствием этой реакции [Мак-Фарленд, 1988].

Павлов показал, что сам УС может действовать как подкрепление. Если сначала выработать пищевой условный рефлекс на звонок, а потом выработать сочетание звонка со световым сигналом без предъявления пищи, то световой сигнал также начнет играть роль условного стимула т.е. выделение слюны будет и на свет [Мак-Фарленд, 1988].

В процессе работы с условными рефлексами Павлов со своими сотрудниками выявили целый ряд механизмов, участвующих в формировании условных рефлексов и влияющих на их параметры, а также сформулировали принципы условно-рефлекторной деятельности, большая часть из которых не пересмотрены по настоящее время.

1. Привыкание. При выработке рефлекса, после достижения стабильной фазы и многократном повторении рефлекса начинает сказываться явление габитуации или привыкания, которое проявляется в ухудшении качества рефлекса. Оно развивается вследствие того, что стимул и его условнорефлекторная связь теряют эффект новизны и предъявление стимула перестает оказывать активирующее действие на систему неспецифической активации, в результате чего снижается уровень возбуждения в системе, что и ведет к некоторому ослаблению рефлекса. То есть теряется эмоциональная подпитка процесса воспроизведения рефлекса. Это ослабление в Павловских условных рефлексах проявляется увеличением латентного времени рефлекса и снижением силы реакции. При этом происходит только частичное снижение реакции, а в целом она продолжает стабильно проявляться на этом сниженном уровне. Если сделать перерыв в воспроизведении рефлекса, то реакция, в отношении которой развилось привыкание, спонтанно восстанавливается. Имеет место процесс неассоциативного обучения в отношении УС, который заключается в том, что по мере привыкания к стимулу снижается перцептивная чувствительность к нему.

Привыкание нужно отличать: а) от усталости (утомления) эффекторных систем, в частности от мышечной усталости, б) снижения мотивации, в следствие удовлетворения потребности, в) сенсорной адаптации – снижения восприятия стимулов в результате их длительного действия на постоянном уровне.

2. Сенсорное предобусловливание. Для установления связи условного и безусловного стимулов подкрепления может не требоваться вообще. Если два стимула какое-то время предъявлять одновременно без подкрепления (неассоциативное обучение), а затем на один из них выработать рефлекс, то при предъявлении второго стимула на него будет наблюдаться реакция. Таким образом, в условиях классических рефлексов подкрепление не обязательно. Оно только укрепляет эту связь и ускоряет формирование условного рефлекса.

3. Гиперсенсибилизация. В определенных случаях условный рефлекс выражен больше, чем ответ на безусловный стимул. Это можетнаблюдаться, например, тогда, когда условный сигнал имеет самостоятельное эмоциональное значение.

4. Генерализация. Когда у животного вырабатывается определенная реакция на данный стимул, она может возникать и на другие, сходные стимулы. Павлов показал, что если тактильное раздражение одного участка кожи сделать условным стимулом, то тактильное раздражение другого участка кожи тоже будет вызывать некоторый условнорефлекторный ответ, ослабевающий по мере удаления этих участков от того, с которым первоначально был связан этот условный рефлекс. Павлов считал, что генерализация связана с распространением волны возбуждения в головном мозге, на основании чего он сформулировал понятие об иррадиации. Однако это мнение не согласуется с современными представлениями о деятельности нейронных цепей.

По современным представлениям эффект генерализации связан со свойствами стимулов. Стимул состоит из совокупности отдельных элементов. Тон характеризуется определенной частотой, интенсивностью и длительностью. И если с помощью специального научения не акцентировать внимание на его специальных характеристиках, то условнорефлекторная реакция будет развиваться на близкий по характеристикам стимул. Причём эта реакция будет тем более выражена, чем ближе два стимула по своим характеристикам.

Торможение условных рефлексов

При возникновении необходимости в той или иной условнорефлекторной реакции, она вырабатывается и вводится в репертуар поведения. При исчезновении же такой необходимости в этой реакции или, когда она оказывается помехой для выполнения какой-то более важной реакции, она исключается из репертуара поведения или временно тормозится. Это является непременным условием эффективности деятельности в многофакторной и динамичной среде обитания. Указанная задача решается процессами торможения.

Нужно разделять два основных вида процессов по исключению невостребованных паттернов поведения из поведенческого репертуара. Первый – забывание, когда сочетание условного и безусловного раздражителя просто перестает встречаться. Этот процесс достаточно медленный. Так условный инструментальный питьевой рефлекс у крысы достаточно хорошо воспроизводится после 30–40 дней непредъявления. Второй процесс более оперативный и встречается в ситуациях, когда устранение условного рефлекса является требованием адаптивной перестройки поведения. Собственно он и называется торможением.

Различают несколько видов торможения.

Безусловное торможение. Этот вид торможения связан с двумя механизмами и является проявлением двух безусловных рефлексов. Первый из них возникает тогда, когда во время выполнения условнорефлекторного поведения животному предъявляется посторонний новый сильно действующий, контрастный или иным образом значимый раздражитель (сигнал, информация). При этом активируется ориентировочный рефлекс, реализация которого осуществляется эмоциональной системой поведенческого торможения. При этом осуществляется торможение текущего поведения внимание переносится на источник сигнала, происходит неспецифическая активация значительного круга сенсорных и эффекторных систем. Так называемый ориентировочный рефлекс и павловский рефлекс «Что такое?» Классическим примером такого торможения является смена экспериментатора при выработке инструментальных рефлексов. В этом случае в начале эксперимента с животным при выработке рефлекса работает один человек, а в какой-то момент его заменяет другой. В этой ситуации очень часто наблюдается резкое ухудшение параметров выполнения рефлекса (рис. 7.4) Такое торможение было названо Павловым внешним торможением. В принципе процесс совершенно аналогичен тому, который был описан для нарушения процесса неассоциативного обучения (см. рис. 7.2.). Как и в том случае, внешний контрастный стимул нарушает процесс обучения. Биологическое значение внешнего торможения состоит в том, что, затормаживая текущую условно-рефлекторную деятельность, оно позволяет переключить организм на определение значимости и степени полезности или опасности нового воздействия. При многократном повторении постороннего раздражителя вызываемый ориентировочный рефлекс постепенно уменьшается, а затем исчезает и уже не вызывает торможения условного рефлекса (реакция привыкания).

Рис. 7.4. Динамика выработки условного инструментального питьевого рефлекса в сложном 6-ти звеном Т-образном лабиринте. На графике отчетливо видно, что при смене экспериментатора на 12-й день латентное время рефлекса (латентное время питья) резко увеличивается, что является проявлением внешнего торможения.

Вторым процессом является запредельное торможение. Оно развивается тогда, когда активность животного при выполнении условного рефлекса приближается к границам физиологической нормы и начинает угрожать целостности систем гомеостаза, сила раздражителя превышает работоспособность корковых клеток. В этих условиях активность ограничивается либо истощением энергетических и пластических ресурсов, однако более часто она ограничивается безусловным рефлексом экономии сил. Это торможение имеет охранительное значение, так как препятствует истощению нервных клеток. Запредельное торможение может вызываться действием не только очень сильного раздражителя, но и действием небольшого по силе, но длительного и однообразного по характеру раздражения. Оно легче развивается при снижении работоспособности, например, после тяжелого инфекционного заболевания, стресса, чаще развивается у пожилых людей.

Угашение (условное торможение, внутреннее торможение). Если, после выработки условного рефлекса условный стимул перестает сочетаться с безусловным, то происходит угашение рефлекса, которое выражается также как и при приввыкании в увеличении латентного времени и снижении силы реакции, но, в отличие от привыкания, оно приводит к полной потере реакции на условный стимул.

Однако это не означает, что выработанный условный рефлекс устраняется из памяти или его значимость ослабляется. Считается, что навык, приобретенный однажды, сохраняется в памяти навсегда и может лишь быть подавлен или модифицирован последующими навыками. Отсюда следует тезис о том, что любое обучение необратимо изменяет поведение. Угашение является активным процессом и заключается в выработке рефлекса противоположного по характеру имеющемуся условному рефлексу, который подавляет предыдущий. По Павлову исчезновение условного рефлекса объясняется накоплением внутреннего торможения. Фактически процесс формирования внутреннего торможения ничем не отличается от выработки нового условного рефлекса. Во время угашения животное научается тому, что за УС больше не следует подкрепления.

За справедливость этого утверждения говорят следующие факты

- если после полного угашения условного рефлекса снова начать сочетать условный стимул с подкреплением, то условный рефлекс восстановится значительно быстрее, чем, если бы он вырабатывался изначально;

- если в процессе угашения делать перерывы, то рефлекс частично восстанавливается;

- если в процессе угашения появляется новый раздражитель, то угашение рефлекса замедляется. Этот феномен называется Павловским растормаживанием. По сути своей этот феномен аналогичен внешнему торможению в процессе выработки рефлекса.

Описываемый вид торможения называют внутренним, потому что оно формируется с соблюдением основных закономерностей условного рефлекса. При первом предъявлении условного раздражителя без последующего подкрепления условная реакция проявляется как обычно. Последующие предъявления условного раздражителя без подкрепления начинают вызывать ориентировочную реакцию, которая затем угасает. Постепенно исчезает и условно-рефлекторная реакция.

Дифференцировочное торможение вырабатывается на раздражители, близкие по характеристике к условному раздражителю. Этот вид торможения лежит в основе различения раздражителей. С помощью этого торможения из сходных раздражителей выделяется тот, который будет подкрепляться безусловным раздражителем, т.е. биологически важный для организма. Например, на звук метронома с частотой 120 ударов в 1 мин у собаки выделяется слюна. Если теперь этому животному в качестве раздражителя предъявить звук метронома с частотой 60 ударов, но не подкреплять его, то в первых опытах этот раздражитель тоже вызывает отделение слюны. Но через некоторое время возникает дифференцировка этих двух раздражителей и на звук с частотой 60 ударов слюна выделяться перестает.