Глава 10. Оперантное научение

Вскоре после открытия принципа образования условных рефлексов И. П. Павлов прочёл опубликованные к тому времени работы американских психологов, так же как и он исследовавших ассоциативное научение у животных, но с помощью иных экспериментальных методов. Павлов признал, что «честь первого по времени выступления на новый путь должна быть предоставлена Торндайку (Edward L. Thorndike, Animal Intelligence: An Experimental Study of the Associative Processes in Animals, 1898), который на два-три года предупредил наши опыты, и книга которого должна быть признана классической как по смелому взгляду на всю предстоящую грандиозную задачу, так и по точности полученных результатов».¹ Причиной столь высокой оценки была сходная материалистическая позиция: американские исследователи, как и сам Павлов, пытались создать объективный метод изучения поведения. Для достижения этой цели оба направления игнорировали или прямо отрицали наличие психологических закономерностей, рассматривая психику как некое побочное явление. Такая методологическая установка определяется как редукционизм.

В одной из своих лекций Павлов коротко изложил суть экспериментального подхода Торндайка: «При этих исследованиях животное помещалось в ящик, вне которого стояла видимая животному пища. Животное естественно стремилось к еде, а для этого должно было открыть дверцу ящика, которая в различных опытах запиралась разно. Цифры и составленные из них кривые показывали, как скоро и каким порядком достигалось решение задачи животным. Весь процесс понимался как образование ассоциации, связи между зрительным и осязательным раздражением и двигательным актом. Этим способом и разными вариациями его изучались разные вопросы, относящиеся до ассоциативной способности разнообразных животных».²

В экспериментах Торндайка и его последователей подопытные животные учились связывать совершаемые действия с полученным результатом, например, с получением еды, для чего надлежало научиться открывать дверь, преграждающую путь к пище. После многих неудачных проб в действиях животных оставалось всё меньше и меньше ошибок, так методом проб и ошибок они приобретали необходимый поведенческий опыт. Образование устойчивой связи между правильными действиями (движениями) и достигнутым результатом (подкреплением) стали рассматривать как инструментальный или оперантный (от лат. operatio – действие) условный рефлекс. Научение на основе инструментальных рефлексов получило название оперантного научения.

10.1. Научение методом проб и ошибок

Любой живой организм, представляющий открытую термодинамическую систему, обречён быть активным, чтобы уравновесить внутренние процессы и условия внешней среды. Поведенческая активность легко обнаруживается в совершаемых животным действиях, направленных на поиск пищи или сохранение собственной безопасности. Индивидуальный поведенческий опыт заключается в отборе и запоминании наиболее эффективных действий, способствующих достижению желаемых целей, и одновременному прекращению неэффективных действий как биологически нецелесообразных. Научение осуществляется в процессе индивидуального опыта, оно является и его результатом, позволяющим в дальнейшем использовать наиболее эффективные способы удовлетворения биологических потребностей. Пионером исследования научения возникающего в ходе активных действий животного был американский психолог Эдвард Торндайк.

Чаще других подопытных животных он использовал в своих экспериментах кошек. Голодное животное помещалось в клетку, в которой имелось несложное приспособление, с помощью которого кошка могла сама открыть дверь, выйти из клетки и получить корм, находящийся на виду снаружи клетки. Клетки, снабжённые изнутри устройством для открывания двери, получили название «проблемных клеток» (Рис. 10.1). Экспериментатор регистрировал все действия, которые совершало животное в ходе своей поведенческой активности: ходьбу, мяуканье, царапание стенок клетки, прыжки на них и, наконец, случайное нажимание на педаль, приводящее к открыванию двери. Кроме того, фиксировалось время от помещения животного в клетку до освобождения из неё. Получившая небольшое количество корма кошка возвращалась в клетку для повторения опыта.

При повторении опытов животные с каждым разом совершали всё меньше неэффективных действий, и всё быстрее освобождались из клетки. Научение методом проб и ошибок происходило постепенно, проявлялось в уменьшении числа ненужных движений до тех пор, когда помещённая в проблемную клетку кошка сразу же направлялась к открывающей дверь педали и нажимала на неё. Первоначально малая вероятность правильных действий в результате научения становилась высокой. Такой результат Торндайк объяснил образованием ассоциации между действующими стимулами и реакциями животного. Подобные ассоциации создаются, по его мнению, без участия сознания в результате слепого отбора из производимых наугад движений.

Торндайк сформулировал законы научения методом проб и ошибок, к которым принадлежат закон упражнений и закон эффекта. Закон упражнений констатирует пропорциональную связь между ситуацией и реакцией на неё: связь усиливается в результате частых повторений и ослабляется, если стимулирующая ситуация возникает редко. Закон эффекта определяет зависимость между действиями животного и результатом этих действий. Если совершаемые действия приводят к желаемому результату (награда), то они повторяются и в дальнейшем. Если же совершённые движения вызовут у животного дискомфорт (отсутствие награды или возникновение каких-либо неприятных ощущений), то в последующем такие действия исключаются. Таким образом, сохранение поведенческих реакций определяется тем, что за ними следует, а закон эффекта указывает на адаптивную природу поведения животных.