§ 3. Виды ориентировочного подкрепления

Благодаря исследованиям И. П. Павлова и его школы мы знаем, как тонко реагирует животное на малейшие изменения всех компонентов условного рефлекса. В част­ности это относится к изменениям подкрепления, его количественной и качественной стороны. В последнем слу­чае дело идет о том, вполне ли совпадает предлагаемое под­крепление с тем, которое было показано животному до начала его действий; эти опыты были произведены сна­чала вне лабораторий И. П, Павлова. Расхождение между приманкой, которая вначале показывалась и пряталась, и тем, что потом обнаруживалось животным (и должно было служить подкреплением) всегда вызывало «нарушения» в поведении животного. Это и наблюдалось в известных опы­тах Тинклпо (О. L Tinklepaugh)¹, подтвержденных у нас Н. Ю. Войтонисом². Когда животное обнаруживает под крышкой не тот предмет — приманку — который был ему показан в начале опыта, оно проявляет явные признаки встречи не с тем «потребным будущим», которое ожида­лось. Такого рода опыты служат доказательством того, что существует не только полное, но и неполное ориентиро­вочное подкрепление, чисто ориентировочное, потому что животное обнаруживает «замешательство» при одном восприятии подмененной приманки, еще до того, как на­чинает ее есть (а иногда отказывается есть и «с гневом» отбрасывает приманку).

Но существует еще один вид ориентировочного под­крепления, значение которого трудно переоценить. В от­личие от подкрепления полного и неполного, но все-таки получаемого или неполучаемого, которое поэтому можно назвать альтернативным («да-нет»), этот новый вид под­крепления можно назвать «относительным ориентиро­вочным подкреплением», так как оно возникает из учета того отношения, в котором фактический результат дейст­вия оказывается к намеченному, заданному. Так, например, животное промахивается и не достигают «цели»: сточки зре­ния «альтернативного подкрепления» это просто «нет», т. е.

отрицательное подкрепление; однако, если при этом жи­вотное замечает насколько и куда оно отклонилось от цели, то это служит относительным ориентировочным подкре­плением и позволит ему внести надлежащую поправку в следующую «пробу».

В процессе формирования новых действий путем «проб и ошибок» успешное действие сначала возникает случайно, среди многих безуспешных проб. Постепенно число таких проб уменьшается, а потом и вовсе исчезнет. Если бы существовало только альтернативное подкреп­ление («да-нет») и каждая проба получала только квали­фикацию «правильно-неправильно», никакого прогрес­са в научении не могло бы наступить: неудачные пробы просто отбрасывались до появления такой же случайно удачной пробы. Допустим, что эта удачная проба сразу оставляет после себя четкую кинестетическую картину, по которой она может быть точно воспроизведена в сле­дующий раз. Но тогда выступает другая сторона пробле­мы: только в исключительном случае положение живот­ного относительно «цели» окажется точно таким же, каким оно было в прошлой, удачной пробе; между тем достаточ­но уже небольшого изменения этого относительного по­ложения, чтобы точно воспроизведенное и в прошлый раз удачное действие теперь оказалось неудачным. Если к это­му добавить неточное исполнение прежде удачного дей­ствия (что практически всегда имеет место), то вероятность его успешного выполнения становится еще меньше. Соб­ственно это мы и наблюдаем, когда вслед за успешным вы­полнением задания следует большое число неудачных проб.

Основное положение «метода проб и ошибок» заклю­чается в том, что удачные пробы закрепляются, а неудачные отсеиваются. Но это констатация факта, а не объяснение. В качестве объяснения оно, как мы только что видели, несостоятельно: действие, которое закрепилось как удач­ное, в следующий раз, по всей вероятности, станет неудач­ным. На том же основании оно должно быть «отсеяно» и процесс начинается «сначала». И это может повторяться многократно, «до бесконечности», раскрывая ошибку приведенного объяснения: одного закрепления удачного действия совершенно недостаточно, чтобы обеспечить его все более частое появление и окончательное утверждение. Здесь нужен еще один, и притом собственно психологи­ческий «фактор» — все более полный и тонкий учет роли небольших изменений в условиях действия, все более точ­ное примеривание его к этим условиям и все большее приспособление действия к ним — еще до выполнения, в плане образа.

В еще большей степени эти требования относятся к неудачным пробам. Если они просто отбрасываются, то создается полная неопределенность, какой должна быть следующая проба. Но если неудачная проба не просто отбрасывается, а сопровождается учетом отклонений фактического результата от заданного, то в характеристи­ку неудачной пробы вносится существенное дополнение: является ли она приближением к цели или удалением от нее, в какую сторону и насколько и, значит, какую по­правку нужно внести, чтобы в следующей пробе достиг­нуть цели или хотя бы приблизиться к ней. В ряде повто­рений такие поправки естественно ведут ко все большему приближению к «правильному действию». В дальнейшем уже одно примеривание в плане восприятия позволяет осуществить приспособление действия к наличным об­стоятельствам.

Все это полностью относится и к применению уже сформированных действий. Лишь в исключительных случаях точно воспроизводится то соотношение между ин­дивидом и объектом, при котором в прошлый раз дейст­вие было удачным. Чтобы успешно воспользоваться этим действием в новой, актуальной ситуации, это действие нужно сначала примерить — в плане восприятия — и за­ранее внести необходимые поправки, чтобы приспосо­бить к наличным (и несколько измененным) условиям.

Такие поправки предполагают информацию о факти­ческом результате действия и его сопоставлении с задан­ным. Но все это должно быть сделано заранее! Естествен­но, что когда «правильное действие» и его условия заранее известны и материально присутствуют (в виде ситуации, с одной стороны, и заложенной в ЭВМ программы, — с дру­гой), то управляющее устройство может обеспечить ус­пешное выполнение действия. Но когда правильный путь или поправка к нему еще неизвестны, то наметить их пред­варительно (до начала или во время исполнения) и руко­водить исполнением действия посредством сличения его фактического хода с намеченным можно только путем ори­ентировки в плане образа.

Психическое отражение поля действия и соотнесение его фактического и заданного хода в плане образа состав­ляют обязательное условие успешного выполнения дей­ствия, у которого необходимое постоянство условий за­ранее не обеспечено. Тем более, что это обязательное условие всякого научения, включая и научение путем проб и ошибок.

Короче говоря, как процесс образования, так и успеш­ное применение действий в обстановке, требующей их приспособления (по направлению, расстоянию, силе, темпу), возможны только на основе психического отраже­ния ситуации, с помощью идеальных действий в плане этого отражения и на основе их подкрепления, не только альтернативного, но прежде всего относительного и чис­то ориентировочного.

На том уровне развития животных, где автоматиче­ские реакции становятся не только недостаточными, но и опасными, новые возможности существования и раз­вития открываются благодаря психическому отражению мира и действиям в плане этого отражения. С этого уров­ня филогенеза психика становится необходимым услови­ем дальнейшего прогрессивного развития животного мира. О значении психики, сознания в общественной жизни людей, само собой разумеется, не приходится и говорить.