Інструментальний умовний рефлекс

• Що таке інструментальний умовний рефлекс і чим він відрізняється від класичного умовного рефлексу?

• Яка суть закону ефекту і чому Торндайк вважав цей закон аналогією еволюційної концепції?

• Що таке підкріплення?

• Яку дію роблять пропорційний і інтервальный режими?

Звикання і класичне обумовлювання — це дві форми простого научіння. Ще одним його різновидом є інструментальне (або оперантне) обумовлення. Приклад інструментального обумовлення можна знайти в зоопарку. Коли тюлень робить стрибок, щоб узяти рибу в доглядача зоопарку, він вивчає інструментальну умовну реакцію. Вона називається інструментальною тому, що веде до бажаного результату.

Інструментальний рефлекс відрізняється від класичного по декількох параметрах. Найважливіша відмінність полягає в тому, що при оперантному научінні підкріплення (тобто нагорода) залежить від правильної реакції. Для навченого тюленя неправильна реакція означає відсутність риби. Це не підходить для класичного рефлексу, у якому БС з'являється поза залежністю від того, що робить тварина — наприклад, м'ясний фарш тварина одержувала незалежно від того, виділяла вона чи ні слину. Ще одна відмінність стосується вибору реакції. При оперантному научінні реакція повинна бути обрана з якоїсь (іноді великої) кількості альтернатив. Тюлень повинен вибрати саме стрибок з безлічі інших дій, які він може продемонструвати. У класичному рефлексі, на відміну від інструментального, реакція нав'язана тварині: смак м'яса стимулює виділяє слини, у неї немає вибору.

ТОРНДАЙК І ЗАКОН ЕФЕКТУ

Експериментальні дослідження оперантного научіння почалися приблизно сто років тому, ставши наслідком дебатів навколо дарвінівської теорії еволюції шляхом природного добору. Прихильники дарвінівської теорії наголошували на наступності серед видів — і вимерлих, і нині існуючих: не дивлячись на зовнішні розходження, крила птахів, плавці китів і руки людини у своїй основі мають загальну кісткову будову. Ця наступність є основним аргументом на користь того, що всі ці різнорідні організми походять від загальних предків. Опоненти теорії Дарвіна вказували на те, що розглядалося як принципова переривчастість у еволюції живих істот, а саме на здатність людини мислити і міркувати, ту здатність, яка відсутня у тварин.

У відповідь Дарвін і його колеги доводили, що наступність розумової функції можна знайти й у тваринному світі. Так, людина набагато розумніша за інші види, але розходження, можливо, набагато менше, ніж ми звикли думати; для підтвердження своєї ідеї дарвіністи збирали історії про інтелектуальні досягнення різних тварин, наприклад, історію про хитру кішку, що розсипала хлібні крихти на галявині для того, щоб нападати на птахів, що прилітали, (Romanes, 1882).

У багатьох випадках, однак, залишалося незрозумілим, чи були ці історії доказами високої розумової здатності тварин чи лише елементами фольклору. Якщо допустити перше, то всерівно залишається незрозумілим, чи були ці історії літературно оброблені чи просто любовно розказані гордими хазяями тварин. Були потрібні систематичні, об'єктивні і документально оформлені дослідження. Такі досліди здійснив Едвард Л. Торндайк (1874-1949). У 1898 р. він описав їх у своїй докторській дисертації, що стала однією з класичних праць американської психології (Thorndike, 1898).

Кішки в проблемній шухляді

Метод Торндайка полягав у тому, щоб змусити тварину — у його експериментах це зазвичай була голодна кішка — виконати те або інше завдання. Кішку поміщали в проблемну шухляду – огорожу, вибратися з якої можна було тільки виконавши визначену операцію, таку, наприклад, як натискання на досить велику педаль, що дозволяло відкрити дверцята шухляди (мал. 4.7). Як тільки кішка виявлялася зовні, вона одержувала невелику порцію корму. Потім її знову поміщали в шухляду для наступної проби, так що експеримент міг повторюватися знову і знову доти, поки завдання не засвоювалося.

При першій спробі типова кішка нявкала, дряпалася і кидалася на огорожу. Це продовжувалося протягом декількох хвилин доти, поки вона, зовсім випадково, не робила правильну дію. Наступні досліди приносили поступовий прогрес. Період боротьби скорочувався, і тварині було потрібно усе менше і менше часу, щоб зробити операцію, яка відкриває дверцята. І коли досліди підходили до кінця, поведінка тварини змінювалася до невпізнанності у порівнянні з початком. При потраплянні в шухляду вона негайно спрямовувалася до педалі, діловито і швидко натискала на неї і поспішала через дверцята, що відкрилися, одержати свою заслужену нагороду.

Якби хтось просто побачив, як поводиться кішка в момент завершення дослідів, він міг би повірити в існування розуму і мислення у тварин. Але Торндайк фіксував, скільки часу потрібно тварині в кожній проб, щоб вибратися із шухляди - латентний період реакції тварини, - і показав, як цей час змінюється в процесі научіння. Торндайк знайшов, що отримана ним крива знижується в міру процесу научіння. Це не відповідає поведінці тварини, коли вона приходить до розуміння того, як вирішується проблема. Якби це було так, крива научіння мала б різкий спад у той момент, коли кішка зрозуміла задачу. «Ага! - промурчала б кішка, яку раптово осінило, - ось ця педаль дасть мені вийти»; і з цього моменту не було б ніяких завивань і стрибків. Але отримана Торндайком крива научіння показує, що кішки досягали правильної реакції шляхом незначних поліпшень, демонструючи відсутність розуміння поставленої задачі і без раптового осяяння з приводу її рішення (рисі. 4.8).

Щоб вибратися з шухляди кішка повинна була повернути дерев'яний важіль з вертикального в горизонтальне положення. Графік показує поступове зниження латентного періоду реакції тварини (часу, необхідного для того, щоб вибратися з; шухляди). Помітьте, що крива зовсім неоднорідна і має досить виражені коливання. Це характерно для кривих научіння окремих тварин. Монотонні криві в основному виходять при усередненні результатів, отриманих у безлічі особин (Thorndike, 1898)

Закон ефекту

На думку Торндайка, первісні реакції кішок на ситуацію були, швидше за все, результатом попереднього досвіду або деяких вроджених схильностей. Як виявилося, усі ці реакції не привели до успіху. У ході подальших дослідів імовірність подібних реакцій поступово знижувалася. Імовірність правильних дій тварини споконвічно була невисока, але в процесі научіння вона неухильно підвищувалася. По вираженню Торндайка, правильна реакція поступово «закарбовувалася», тоді як помилкові реакції поступово «стиралися» з пам'яті тварини.

Які ж причини приводять до посилення одних реакцій і ослаблення інших? Торндайк вважав, що існує закон ефекту, який говорить, що якщо за реакцією випливає нагорода, те ця реакція закріплюється. Якщо ж слідом за реакцією не випливає ніякої нагороди (або, тим більше, якщо випливає покарання), то реакція слабшає. Іншими словами, стійкість реакції визначається тим, що за нею випливає (мал. 4.9).

Таким чином, не потрібно постулювати якийсь особливий інтелектуальний процес у тварин, щоб пояснити її поведінку. Не будемо стверджувати, що тварина встановила зв'язок між дією і наслідком або намагалася досягти якоїсь мети. Якщо тварина зробила якусь дію, за якою пішла нагорода, то досить імовірно, що ця дія згодом буде повторена.

Результати досліджень Торндайка добре вписалися в схему еволюційного мислення, що домінувала в той час у суспільстві. По-перше, закон ефекту утверджує адаптивну природу поведінки тварин, що формувалася поступово. По-друге, і це дуже, важливо, Торндайк відзначав, що закон ефекту є близькою аналогією дарвінівського принципу природного добору. Успішно адаптовані представники виду будуть жити досить довго, щоб передати свої навички наступному поколінню; ті, хто не адаптований, імовірно, вимре, практично не залишивши сліду. У житті окремої особи закон ефекту служить, по суті, аналогом закону природного добору поведінкових реакцій: успішні реакції зберігаються, марні «вимирають». «Це — процес добору серед реакцій... шляхом виключення невідповідних реакцій, що приводять до дискомфорту, і шляхом вибору відповідних реакцій, що приводять до задоволення... Той, хто вчиться й уникає небезпеки, буде жити, щоб, учитися ще один день...» (Тhогndike).

ДОСЛІДЖЕННЯ СУЧАСНОЇ ПСИХОЛОГІЇ

УМОВНЕ ПІДКРІПЛЕННЯ, НАРКОТИЧНА ЗАЛЕЖНІСТЬ І ПЕРЕДОЗУВАННЯ

Механізми класичного умовного рефлексу справляють на нас різноманітний вплив і можуть сприяти поясненню проблеми, яка має надзвичайне соціальне, політичне і медичне значення, — проблеми наркотичної залежності.

Ключ до розуміння наркоманії лежить у тих декількох принципах, які ми вже розглядали. По-перше, ми згадували, що функціонування багатьох систем організму спрямовано на підтримку постійного внутрішнього середовища. Зокрема, деякі системи викликають компенсаторні реакції, де б не відбувалися зміни, для того, щоб блокувати перекіс і зберегти стабільність. Зниження температури тіла, наприклад, пускає в хід механізми, що генерують тепло; раптова поява несподіваного стимулу запускає в дію процес повернення організму в стан спокою. І, нарешті, ми уже відзначали, що деякі з цих компенсаторних реакцій є набутими, імовірно, через механізм умовно-рефлекторного зв'язку.

Як це застосувати до таких наркотиків, як морфін і героїн? Ці наркотики дають різні ефекти, включаючи рятування від болю, відчуття ейфорії і розслаблення. Але після повторюваних прийомів наркотика всі ці ефекти слабшають. Іншими словами, у того, хто вживає наркотик, розвивається наркотична толерантність — зниження реакції на наркотик і, разом з тим, з'являється потреба в усе більшій і більшій дозі для досягнення повного ефекту.

Ми можемо уточнити і розвинути нашу думку. Для наркомана зі стажем вид шприца (досить лише одного натяку) — це достовірний сигнал швидкого надходження героїну. По суті, вид голки — це умовний стимул (УС), що говорить про обов'язкове надходження наркотика (БС). Щоб підготуватися до його прийому, організм робить умовну компенсаторну реакцію (УР), що прямо протилежна біологічно детермінованій реакції організму на сам героїн (БР). Таким чином, УР блокує БР або, принаймні, знижує бездіяльність, усе-таки допускаючи деяку дію наркотику. (Саме це є метою протидіючого процесу; блокування змін, вироблених наркотиком, захищає баланс організму.) Це зниження впливу ми і називаємо наркотичною толерантністю.

Умовний рефлекс може також пояснити ту жагу наркотика, що є центральною проблемою в наркоманії. Уявіть, що героїновий наркоман бачить шприц або проходить через ту місцевість, де він звичайно «стирчав», але по тій або іншій причині героїну в нього немає. У цьому випадку включається УС (вид голки, «торчкової» вулиці), запускаючи УР (компенсаторну реакцію), але БС (наркотик) не вводиться, виключаючи таким чином БР (дію наркотика). Наркоман випробує компенсаторну реакцію, якій йому немає що протиставити. Ми припускаємо, що тут і знаходиться джерело патологічного потяга до наркотику»!

Підтверджує це припущення і те, що особливі почуття і, симптоми, характерні для наркотичного голоду, насправді прямо протилежні тим, що пов'язуються із самим наркотиком. Героїн викликає ейфорію, спокій і зниження чутливості до болю, тоді як героїновий голод пов'язаний з депресією, занепокоєнням, підвищенням больової чутливості. Героїн викликає сухість у роті, в очах, і в носі, а його недостача — сльози, нежить і слиновиділення.

Це зауваження може мати пряме відношення і до ще одного важливого моменту в наркоманії. В даний час існує кілька різних методів лікування наркоманії, включаючи метадонову терапію. Однак кількість рецидивів у вживанні заборонених опіатів після лікування оцінюється в 70-80% (Rosenhan and Seligman, 1995). Чому це відбувається? Більшість наркоманів після лікування повертаються в те ж фізичне і соціальне середовище, у якому вони жили під час прийому наркотиків. Це середовище наповнене знаками, пов'язаними з минулим вживанням наркотика, і саме ці знаки запускають бажання наркотика. Рівень рецидиву значно нижчий, якщо пацієнти після лікування не повертаються у вихідне середовище і не зіштовхуються в такий спосіб з об'єктами наркотичних асоціацій.

Наступний, і дуже сильний, аргумент на користь протидії наркотикам ми знаходимо, коли розглядаємо самий небезпечний аспект наркоманії — можливість смертельного передозування. Уявіть собі наркомана з великим досвідом наркотизації у своїй квартирі. У нього поступово розвивається толерантність до наркотика завдяки компенсаторній реакції, що спрацьовує у відповідь на множинні асоціативні знаки в його квартирі. А тепер уявіть, що він вирішив уколотися в якомусь новому місці — припустимо, на квартирі друга. А це, у підсумку, нові УС, оскільки багато які зі звичайних асоціативних знаків у цьому випадку відсутні. Відповідно до того, що ми знаємо про генералізацію стимулу, це приведе до зниження УР, тобто до більш слабкої компенсаторної реакції, і наслідки цього можуть бути катастрофічними. Коли можливість компенсувати дію наркотика знижена, організм наркомана в новому середовищі може не справитися, з тією кількістю наркотика, до якого він уже звик.

Підтвердження цього припущення можна знайти в реальному житті, якщо проаналізувати дані опитування наркоманів, які пережили передозування героїну. Вони часто говорять, що смертельна доза була не більша звичайної. Крім того, немає ніяких підстав вважати, що ця ін'єкція, ледь не стала смертельною через домішки або неочищення наркотику. Але що змінилося в цьому випадку? Те, що людина укололася в новому місці, новій компанії і т.д. Подібні дані були отримані й у лабораторії. Пацюки можуть переносити високі дози героїну, якщо вони одержують дозу в тих же умовах, у яких звичайно одержували героїн; у новому місці вони не можуть переносити ту ж саму дозу (Siegel et al., 1982; Siegel 1983).

Як виглядає справа з іншими наркотиками? Умовна компенсаторна реакція може виявлятися й у реакції людини на нікотин і амфетамін; багато інших наркотиків також викликають подібну реакцію. І особливо вражає той факт, що експерименти Павлова зі слиновиділенням у собак, проведені майже сто років тому, дають нам підстави робити досить важливі висновки щодо проблем наркоманії.

СКІННЕР І ОПЕРАНТНа поведінка

Експериментальні дослідження оперантної поведінки почав Торндайк, але психологом, який визначив спосіб мислення сучасних вчених у даній області, був Б. Ф. Скіннер (1904-1990). Він у числі перших наполягав на проведенні розходжень між класичним і інструментальним рефлексом. У класичному рефлексі поведінка тварини викликається УР; слиновиділення, наприклад, запускається зовнішнім об'єктом. Але в інструментальному рефлексі, як стверджував Скіннер, тварина набагато менше залежить від зовнішньої ситуації. Її реакції виникають зсередини і викликаються тим, що ми називаємо волею. Скіннер назвав ці інструментальні реакції оперантами: вони справляють дію на середовище, вносячи зміни,які приводять до нагороди. У концепції як Торндайка, так і Скіннера нагорода мала вирішальне значення, і Скіннер прийняв запропонований Торндайком закон ефекту, вважаючи, що наслідок дії визначає посилення або ослаблення операнти (Skinner,1938).

Однак Скіннер був впевнений у тім, що метод дослідження научіння Торндайка неефективний. Замість того, щоб поміщати тварин у проблемну шухляду, Скіннер шукав метод, у якому інструментальна реакція може виконуватися постійно і швидко. Багато своїх досліджень він провів, використовуючи оперантні камери (широко відомі як «шухляди Скіннера), у яких пацюк натискав на важіль або голуб клював світлий диск (мал. 4.10). У цих ситуаціях тварина знаходилася перед важелем або диском протягом, скажемо, години, натискаючи або клюючи в тому темпі, який вона сама вибирала. Сила реагування тварини автоматично записувалася, а стимули і підкріплення керувалися комп'ютером. Звичайною мірою сили реагування є швидкість реакції, тобто кількість реакцій в одиницю часу.

ЗАГАЛЬНІ ЗАКОНОМІРНОСТІ ФОРМУВАННЯ ІНСТРУМЕНТАЛЬНОГО УМОВНОГО РЕФЛЕКСУ

Більшість проявів оперантного научіння подібні проявам умовного рефлексу. Розглянемо підкріплення. У концепції класичного умовного рефлексу цей термін пов'язується з операцією (встановлення зв'язку УС-БС), що підсилює УР. При оперантному научінні підкріплення відноситься до аналогічної операції, що підсилює реакцію за допомогою наступного привабливого стимулу або ситуацій, що містять щось приємніше, на зразок зерна для голодного голуба. І навпаки, підкріплення може полягати в обмеженні або захисті від чогось неприємного, наприклад, у припиненні ударів електричним струмом.

Іншими словами, підкріплення може полягати або в наявності якихось бажаних стимулів (стимулів, у яких тварина відчуває потребу), або у виключенні якихось аверсивних стимулів (стимулів, яких тварина зазвичай намагається уникнути). Обидва ці стимули забезпечують поліпшення стану тварини і закріплюють попередній тип її поведінки.

Так само як і при класичному обумовлюванні, імовірність інструментальної реакції збільшується з ростом кількості підкріплень і відбувається загасання реакції, коли підкріплення зникає.

Генералізація і диференціація

Інструментальна реакція не викликається зовнішнім стимулом; по термінології Скіннера, вона виникає зсередини. Але це аж ніяк не означає, що зовнішні стимули не грають ролі. Вони також здійснюють контроль, над поведінкою, оскільки служать диференціальними сигналами для тварини. Уявіть собі голуба, який навчили стрибати на педаль, щоб одержати зерно. Коли горить «зелене світло, стрибок на педаль винагороджується. Але коли горить червоне світло, натискання на педаль не приносить нагороди. У даних умовах зелене світло стає позитивним диференціюючим сигналом, а червоний — негативним (звичайно позначаються як З+ і С- відповідно). Голуб швидко вивчає цю закономірність, стрибає при наявності першого сигналу і не стрибає при наявності другого.

Пояснимо різницю між стимулами. УС+ сповіщає тварині про події у світі: «Незалежно від того, що ти робиш, наближається БС». З іншого боку, З+ говорить тварині про майбутній результат її дії: «Якщо ти зробиш це зараз, ти будеш нагороджений. УС- показує, що БС не піде (знов-таки незалежно від поведінки тварини). С-, навпаки, говорить тварині, що немає потреби реагувати саме зараз.

Незважаючи на ці розходження, функції генералізації і диференціації дуже схожі в класичному й інструментальному рефлексах. Розглянемо розподіл генералізації. Раніш ми бачили, що під час тренування з одним УС (допустимо, високим тоном) і тестових іспитах з іншим (низьким тоном) УР буде знижена. Чим більша різниця в УС, тим більший спад у силі УР. Те ж саме можна спостерігати в інструментальному рефлексі: в одному експерименті голубів навчали стукати дзьобом по диску при жовтому світлі. Пізніше тести проводилися з використанням різних хвиль колірного спектра, і результати показали відповідний розподіл генералізації. У міру того як контрольне світло ставало усе менш схожим на вихідний З+, голуби були все менш схильні клювати диск (Guttman and Kalish, 1956).

Дресирування

Закон ефекту говорить, що як тільки УР встановилася, підкріплення працює на її посилення. Але що змушує тварину виконати бажану дію перший раз? Деякі реакції не складають проблеми: клювання — це така дія, що голуби роблять постійно, маючи безліч можливостей для закріплення цієї реакції; це справедливо і для пацюків, які натискають і пересувають легко досяжні предмети у своєму оточенні.

Але як виглядають справи з більш складними реакціями? Наприклад, ми можемо встановити в камері важіль настільки високо, що пацюку прийдеться витягнутися на задніх лапах, щоб дістати його. Тепер пацюк може ніколи не зробити операцію натискання на важіль довільно. Проте, він може вивчити цю дію, якщо провести відповідне дресирування; здійснюється воно методом поступового наближення.

Як навчити пацюка натискати на високо піднятий важіль? Спочатку ми повинні навчити його одержувати свою нагороду. З рівними інтервалами лунає цокання — і їстівні кульки падають у маленьку чашку. Спочатку пацюка може лякати цей звук, але звикання швидко придушує страх, так що дуже швидко пацюк наближається до блюдця і бере кульки, як тільки чує цокання. З цього моменту можна починати дресирування. Спочатку ми стимулюємо тварину проста знаходитися в тому районі, де розташований важіль. Як тільки пацюк потрапив туди, ми кладемо в чашку їжу: пацюк чує цокання і з'їдає кульку. Дуже незабаром пацюк навчиться залишатися поблизу чашки практично увесь час, дозволяючи нам підвищити вимоги: відтепер він заохочується, тільки якщо дивиться на важіль. Ця реакція також незабаром засвоюється, і тоді ми ще більше ускладнюємо свої вимоги: тепер пацюк заохочується тільки в тому випадку, якщо він дивиться на важіль і мало-мало витягає тіло догори. Ми продовжуємо в тому ж дусі, заохочуючи пацюка тільки тоді, коли він витягається цілком нагору до важеля, потім — тільки коли він торкається його і т.д. Крок за кроком; ми підштовхуємо пацюка до бажаної дії. При цьому ведучим принципом є швидкість підкріплення. Якщо ми хочемо заохотити пацюка за стояння на задніх лапках, ми повинні зробити це в момент виконання дії; навіть секундне зволікання може стати занадто довгим, тому що потім пацюк може опуститися на чотири лапи, і якщо ми дамо йому нагороду пізніше, підкріплення одержить неправильна реакція.

За допомогою цього методу тварин навчають виконувати надзвичайно складні дії. Голуби можуть грати в пінг-понг, собаки — грати 3-акордовий мотив на іграшковому піаніно. Найчастіше вони беруть участь у шоу-бізнесі. Деякі заповзяті психологи організували живі атракціони, створюючи таких зірок, як Присцилла Вихована Свиня, що «просувала на ринку» деякі фермерські продукти (Breland and Breland, 1951). Присцилла включала радіо, з'їдала сніданок за кухонним столом, збирала брудний одяг і кидала в кошик, пилососила підлогу і, зробивши все це, вибирала продукти спонсора, віддаючи перевагу саме їм, тобто виконувала сукупність дій, що робить честь як спонсорові, так і силі підкріплення.

Обумовлене підкріплення

Дотепер наші приклади підкріплення стосувалися їжі, води і припинення ударів електричним струмом. Але інструментальне научіння не завжди припускає підкріплення з таким безпосереднім біологічним значенням. Наприклад, учитель музики рідко заохочує своїх студентів їжею; кивок або репліка «добре» — зазвичай усе, що потрібно. Як же підхід Торндайка пояснює підкріплювальний зміст слова «добре»?

Торндайк і Скіннер вважали, що стимул має підкріплювальне значення, якщо він неодноразово з'являється у сполученні з іншим підкріпленням. У такий спосіб стимул може стати обумовленим підкріпленням і згодом діяти як будь-яке інше підкріплення.

Множинні експерименти показують, що нейтральні стимули можуть набувати якості підкріплення подібним чином. Наприклад, шимпанзе в одному з дослідів спочатку навчили опускати жетони в торговельний автомат, щоб одержувати винограду. Засвоївши це, вона навчилася виконувати наступну операцію, пов'язану з тим, щоб діставати жетони (Coles, 1937; мал. 4.13). Подібні приклади показують, що вирішальним фактором у перетворенні стимулу в зумовлене підкріплення є його зв'язок з первинним підкріпленням. Цілком природно, що ця властивість тим сильніша, чим частіше сполучаються два цих стимули. Можна також очікувати, що зумовлене підкріплення буде поступово втрачати свою силу з багаторазовою появою без підтримки первинного підкріплення.

Усе це доводить, що зумовлене підкріплення схоже, а можливо, і ідентичне класичному умовному рефлексові. Коротше кажучи, зумовлені підкріплення (жетони, посмішки, кивки) подібні УС. В обох випадках спочатку нейтральні стимули пов'язуються з важливими біологічними потребами, і як тільки це відбувається, УС або обумовлене підкріплення приймає на себе мотиваційну роль.

Режими підкріплення

За межами лабораторії підкріплення відбувається лише періодично: нам не платять після виконання кожного завдання під час роботи; ми лише іноді виграємо в лотерею; рибалка ловить рибу не кожним закиданням вудки, і навіть тенісні зірки, трапляється, програють матчі. Усе це випадки часткового підкріплення, у яких наші дії винагороджуються далеко не завжди.

У лабораторії часткове підкріплення може бути організоване в кількох варіантах. Винагорода може даватися після того, як виконана якась кількість дій або через деякий час. Кожний з цих варіантів може бути описаний через режим підкріплення. Власне кажучи, цей режим описує правила, які визначають, коли і за яких умовах реакція одержує підкріплення.

Режими пропорційного підкріплення. Одним із прикладів такого підкріплення є режим з фіксованим співвідношенням (ФС), коли учасник експерименту повинен зробити визначену кількість дій для одержання кожної винагороди. Кількість необхідних дій визначає показник співвідношення, який стоїть поруч із ФС: якщо потрібні дві дії для одержання одного підкріплення — це режим ФС 2. Якщо потрібні три або чотири дії — це режим ФС 3 або ФС 4 (і т.д.). Такий режим може приводити до високих темпів реагування, особливо при високому показнику співвідношення, але щоб досягти такого темпу, показник повинен підвищуватися поступово, починаючи з 1 (кожна дія винагороджується).

Коли показник ФС досить високий, з'являється нова особливість у поведінці: слідом за кожною винагородою тварина робить деяку паузу; чим вищий показник, тим довша пауза (мал. 4.14). Таким чином, лабораторний голуб має багато загального зі студентом, який закінчив одну курсову роботу і повинен починати іншу. Важко починати, але коли перший лист буде закінчено, другий піде легше.

Паузу, що випливає за кожним підкріпленням, можна видалити, перейшовши до режиму з довільним співвідношенням (ДС). У цьому режимі підкріплення також випливає після визначеної кількості дій, але кількість необхідних дій варіює від одного підкріплення до іншого. Режим ДС описується середнім числом необхідних дій: так, наприклад, ДС10 — це режим, у якому тварина одержує винагороду в середньому за кожні 10 дій. Але при такому режимі може виявитися, що перших п'яти дій буде досить для одержання однієї винагороди, а для того, щоб заробити наступне, будуть потрібні ще п'ятнадцять.

У режимі ДС тварина ніяк не може знати, яка з дій принесе їй наступну нагороду. Може бути, що наступна дія принесе приз, а може бути, буде потрібно ще сто. Ця невизначеність допомагає зрозуміти, чому режим ДС викликає такий високий рівень реагування і у людей, і у тварин. Це легко продемонструвати в лабораторії, але більш переконливі докази можна знайти в кожному казино. Там гральні автомати виплачують виграш за законами режиму ДС, з так улаштованою системою підкріплення, що «реакції» проходять у дуже швидкому темпі, будучи заставою того, що казино будуть приносити вигоду своїм власникам, але не їх клієнтам.

Інтервальні режими. В основі режимів пропорційного підкріплення лежить деяка кількість реакцій. Інтервальні режими засновані на часі. При режимі з фіксованим інтервалом (ФІ) підкріплення з'являється тільки після проходження визначеного інтервалу часу з моменту останнього підкріплення. Як тільки інтервал пройдений, наступна дія приносить нагороду. Прикладом режиму ФІ може служити заглядання в поштову скриньку. Неважливо, скільки разів ви перевіряєте свою скриньку; ваші старання залишаються марними, якщо ви відкриваєте скриньку до того, як принесли пошту. Але як тільки пошта принесена, то наступна спроба обов'язково буде нагороджена. Оскільки пошту, як правило, приносять щодня, режим буде мати інтервал у 24 години.

Після того як тварина провела якийсь час, діючи в режимі ФІ, у неї з'являється характерний спосіб поведінки. Відразу ж після підкріплення швидкість реакції дуже мала. Однак поступово збільшується, і реакції усі прискорюються і прискорюються в міру того, як наближається кінець інтервалу.

На малюнку показана крива сумарних реакцій голуба. Діагональні штрихи вказують момент підкріплення. Як видно з малюнка, швидкість реакції надзвичайно висока і паузи після підкріплення відсутні (Fester and Skinner, 1957)

Манера поведінки тварин зміниться в умовах режиму з довільним інтервалом (ДІ). У принципі, відмінності між режимомДІ і режимом ФІ — такі ж, як між режимами ПС і ФС. У режимі ДІ підкріплення відбувається після якогось визначеного інтервалу, однак цей інтервал непередбачуваний, оскільки змінюється від досвіду до досвіду (мал. 4.16).

Часткове підкріплення і загасання. Різні режими підкріплення, як ми вже бачили, впливають на поведінку. Але один з найважливіших ефектів часткового підкріплення виявляється тільки в процесі загасання. Основний результат можна виразити просто: часткове підкріплення сповільнює процес загасання. Цей феномен іноді називають ефектом часткового підкріплення (Humphreys, 1939; мал. 4.17).

На малюнку показана швидкість загасання УР при однаковій кількості проб у двох груп пацюків. Одна група одержувала повне підкріплення (тобто при кожній пробі), інша — тільки в 30% проб. З графіка видно, що група з повним підкріпленням (суцільна лінія) припинила дії значно раніш, ніж група, що одержувала часткове підкріплення (штрихова лінія).

На перший погляд, ефект часткового підкріплення здається парадоксальним. Якщо кожне підкріплення підсилює інструментальну реакцію, тоді більша кількість підкріплень повинна приводити до більшої стійкості поведінки. Ми, природно, очікуємо, що група, яка одержувала повне підкріплення, буде продовжувати свої дії набагато довше тієї, котра одержувала підкріплення протягом тільки 30% проб. Однак у дійсності відбувається саме зворотне. Чому? Виходячи з позиції здорового глузду, можна сказати, що тварина, що частково винагороджується, звикла до того, що не кожне зусилля веде до успіху; вона засвоїло, що «якщо відразу одержати не вдалося, потрібно спробувати знову». Тварина, можливо, спочатку навіть не зауважує, що почалися загасаючі проби, оскільки вона і до цього моменту багато разів здійснювалася реакцію без винагороди.

Границі прояву інструментального умовного рефлексу

Вище ми відзначали, що прояви класичного умовного рефлексу можна спостерігати в самих різних тварин і в самих різних ситуаціях. Те ж справедливо і для інструментального умовного рефлексу. Ми вже згадували пацюків, навчених натискати на педаль, кішок, навчених тягти за дротову петлю, і мавп, що вміють керувати торговельними автоматами. Можна привести безліч інших прикладів, оскільки інструментальний рефлекс зустрічається і серед простих видів (таких, як бджоли) і серед вищих видів (таких, як людина).

Поширеність інструментального рефлексу виявляється в різноманітті застосування його техніки за межами лабораторії. Багато в'язниць використовують інструментальне обумовлювання для корекції поведінки ув'язнених; багато батьків подібні методи використовують у вихованні дітей (правила поведінки діти засвоюють практично винятково цим шляхом). Інструментальні техніки широко застосовуються в клінічній практиці, включаючи метод психотерапії (так звані методи модифікації поведінки) і використання заохочувальних фішок серед пацієнтів клініки.

Аверсивне обумовлювання

Дотепер ми розглядали такі випадки, коли дія приносить винагороду. А як же покарання? Це інша сторона медалі, коли за реакцією випливає який-небудь неприємний стимул, будь то шум, що лякає, для лабораторних пацюків або суворе «Немає!» для примхливої дитини. Не викликає сумніву, що суб'єкт розуміє, що він повинен мінімізувати цю неприємність; така форма научіння називається аверсивним обумовлюванням.

Покарання. Аверсивні стимули можуть виконувати безліч різних функцій в інструментальному научінні, і найочевидніша з них — покарання. Тут реакція супроводжується неприємним наслідком, що робить цю реакцію менш ймовірною в майбутньому.

Рятування і уникання. При покаранні аверсивний стимул використовується для усунення небажаної поведінки. Але він може використовуватися і для того, щоб закріпити реакцію. Реакція рятування дозволяє тварині виконати дії, що усувають неприємну ситуацію. Реакція уникання є ще більш хорошим виходом: вона запобігає дії негативного стимулу з самого початку. Безумовно, з погляду тварини, і рятування і уникання ведуть до доброго результату; не дивно, що і реакція рятування і реакція уникання швидко засвоюються. Приклад рятування: пацюк швидко вчиться натискати на педаль, щоб виключити електричний струм. Приклад уникання: собака перестрибує з одного вольєра в іншій, як тільки чує звук, що сигналізує про наближення електричного удару. Якщо вона стрибає до витікання визначеного часу, їй удається цілком уникнути удару (мал. 4.18).

Аверсивне обумовлювання і закон ефекту. Розглянемо собаку, що стрибає з вольєра у вольєр, щоб уникнути удару струмом. На ранніх стадіях научіння собака не стрибає доти, поки не почне діяти струм, і кожен стрибок винагороджується припиненням дії струму. Пізніше собака навчається стрибати досить рано, щоб зовсім уникнути удару струмом. Якщо ж підкріплення для стрибків (припинення дії струму) більше не надходить, то це повинно привести до загасання реакції. Однак тварина продовжує стрибати. Чому це відбувається?

Кожен стрибок собаки супроводжується відсутністю дії струму, і це, імовірно, підкріплює реакцію. Але давайте пояснимо, що відбувається: собака повинна знати, що існує реальна загроза удару струмом у цій ситуації, інакше відсутність струму не буде вважатися нагородою. Щоб зрозуміти це, врахуйте такий факт, що кожен стрибок собаки супроводжується відсутністю землетрусу точно так само, як і відсутністю струму. Але, звичайно ж, нерозумно думати, що землетрусу не відбувається тому, що собака продовжує стрибати. І тому що не було причини боятися землетрусу (або навіть просто думати про нього) у цій ситуації,але його відсутність не викликає ні полегшення, ні рятування від страху і, відповідно, не є нагородою.

На малюнку показано латентний період реакції собаки (де латентний період — час з моменту включення УС до реакції тварини). Попереджуючий сигнал вказує на те, що удар струмом (УС) піде через 10 секунд. Під час перших дев'яти проб собака тікала пізно. Вона перестрибувала через огорожу, коли струм уже починав діяти. Починаючи з десятої проби і далі собака уникала удару струмом: вона стрибала до того, як минали 10 секунд. Швидкість стрибка зростала доти, поки середній латентний період не склав 1,5 секунди. (Латентний період вираховувався по логарифмічній шкалі. Шкала часу дробилася таким чином, щоб більше уваги приділити розходженням між найкоротшими латентними періодами.)

Отже, не сама відсутність струму є нагородою. Його відсутність бажана тільки тоді, коли струм дійсно загрожує. І тільки в цьому контексті відсутність удару струмом є нагородою. Щоб зрозуміти суть навички уникання, ми повинні якось пояснити те, що тварина знає про існування погрози в даній ситуації і знає, що відбудеться, якщо воно припинить стрибати. Саме ці труднощі вимагають, щоб ми розглянули питання більш повно, ніж це дозволяє простий закон ефекту. Розробка даної проблеми научіння проводилася й у рамках когнітивного підходу.

Когнітивне научіння

• Що таке когнітивна концепція рефлексу?

• Чим підтверджується той факт, що когнітивна концепція застосовна і до класичного і до інструментального умовним рефлексам?

• Що таке вивчена безпорадність і як вона може пояснити деякі аспекти депресії?

На думку перших розроблювачів даного напрямку, основним у класичному й інструментальному обумовлюванні було те, що обоє вони змінюють поведінку. При класичному обумовлюванні створюється нова умовна реакція. При інструментальному обумовлюванні реакція закріплюється або слабшає внаслідок механічної дії нагороди або покарання.

З перших днів теорії научіння існував альтернативний погляд на обумовлювання, прихильники якого стверджували, що научіння — це не зміна поведінки як така, а набуття нового знання. Одним з видатних представників цієї концепції був Едвард С. Толмен (1886-1959). Згідно Толмену, реакція, яку засвоює тварина в процесі навчальних експериментів, є вирішальною, оскільки свідчить про набуття знання. Але саме пізнання, а не реакція є змістом научіння (Dickinson, 1987).

Теза Толмена була підтверджена результатами численних досліджень. Наприклад, в одному з експериментів пацюків возили по великій кімнаті з одного кінця в іншій у прозорих рейкових машинках. Під час цих поїздок поведінка пацюків не змінювалася; проте, мало місце научіння: наступні тести показали, що пацюка вивчили планування і приблизну обстановку кімнати (Gleitman, 1963). Вони засвоїли те, що Толмен називав «когнітивною картою», яка представляє, що де знаходиться і що до чого веде (Tolman, 1948). Отже, научіння не може бути прирівняне до зміни поведінки, оскільки перевезені пацюки продемонстрували перше, але не друге.

КОГНІТИВНИЙ ПІДХІД ДО КЛАСИЧНОГО ОБУМОВЛЮВАННЯ

Класичний умовний рефлекс також може бути розглянутий у рамках когнітивного підходу: з погляду того, що тварина знає, а не того, що вона робить. Павлов вважав, що умовні стимули поступово підмінюють безумовні, так що тварини починають реагувати на УС так само, як на БС. Але навіть у вихідному експерименті Павлова БР і УР не ідентичні, а для умовної реакції страху вони зовсім різні. Схоже, що УС у дійсності не підмінюють БС, а стають знаком того, що УС незабаром піде, змушуючи тварину зробити необхідну підготовку до БС. Іншими словами, зв'язок між двома стимулами — це те, що засвоює тварина в класичному умовному рефлексі (Tolman, 1932).

Тимчасові зв'язки між УС і БС

Когнітивний підхід виявився корисним і для вирішення ще одного важливого питання: який механізм умовного рефлексу? Які причини встановлення зв'язку між УС і БС у свідомості тварини? Павлов вважав, що це тимчасовий зв'язок, тобто сумісність у часі. УС і БС з'являються разом, тому встановлюється асоціація. Але, як ми побачимо нижче, усе не так просто.

Безліч досліджень були присвячені вивченню ролі сумісності; у них варіювався інтервал між УС і БС, а також порядок їхньої появи. В одних експериментах УС передував БС (випереджальне сполучення), в інших — випливав за БС (наступне сполучення), а інших два стимули з'являлися одночасно (одночасне сполучення) (рис 4.19).

Ці досліди показали, що найкращим є випадок, коли УС випереджає БС на деякий оптимальний часовий інтервал (мал. 4.20).

Якщо інтервал між УС і БС перевищує оптимальний, ефективність їхнього сполучення різко падає. Одночасна поява УС і БС набагато менш ефективна, а наступний зв'язок між УС і БС ще слабший (Rescorla, 1988).

На малюнку показаний вплив на УР різних тимчасових інтервалів між УС і БС. УС — попереджуючий звук, БС — удар електричним струмом, УР — відсмикування руки. Час між УС і БР відзначений на горизонтальній осі. Нульовий інтервал означає, що УС і ВР були пред'явлені синхронно (одночасне сполучення), а позитивний інтервал означає, що УС був пред'явлений до БС (випереджальне сполучення) (Spooner and Kellogg, 1947)

Ці факти стають цілком зрозумілими, якщо ми згадаємо, що УС — це сигнал, який дозволяє тварині приготуватися до БС. Уявіть собі водія, що виїхав на невідому йому дорогу, що веде від Денвера до Солт-Лейк-Сити. Через 150 кілометрів від Денвера крутий поворот. Як попередити водія про майбутній віраж? В ідеалі дорожня служба помістить знак «Небезпечний поворот» на деякій відстані до повороту (аналогічно випереджальному зв'язку з коротким інтервалом). Це дасть водієві інформацію і час, щоб приготуватися до відповідного маневру. Важливо, щоб знак не з'явився занадто рано, тому що тоді водій не побачить зв'язку знака з дорогою. Природно, він не повірить дорожній службі, якщо вони встановлять знак відразу на виїзді за межі Денвера, тоді як сам поворот знаходиться в трьох годинах їзди від нього (випереджальний зв'язок з довгим інтервалом). Однак справа може виглядати ще гірше, якщо знак буде розміщений у самій середині віражу, тому що тепер він з'явиться занадто пізно, щоб бути корисним (одночасний зв'язок). І, нарешті, водій явно запідозрить злий намір, якщо знайде попереджуючий знак, що скромно стоїть біля дороги за 40 метрів після повороту (наступний зв'язок), хоча він повинен бути вдячний уже за те, що не знайшов його на дні яру.

Збіг

Відповідно до когнітивної теорії научіння, при класичному обумовлюванні тварина вчиться тому, що один стимул сигналізує про появу іншого. В одному з дослідів собака кілька разів чула, як починав стукати метроном, після чого вона одержувала м'ясний фарш. Але, безумовно, існувало і безліч інших стимулів. Одночасно з ударами метронома собака чула ляскіт дверей і звук голосів. Вона бачила стіни лабораторії й освітлювальні лампи, що звисають зі стелі. У той же час вона могла відчувати з десяток різних запахів.

І що ж повинна була вивчити собака? Якщо вона покладається на чисту випадковість, збіг, тоді вона буде зв'язувати їжу з усіма цими стимулами — метрономом, лампами і всім іншим. Зрештою, усі вони були одночасно з БС.

Але ми вже говорили, що умовна реакція — це процес підготовки до появи БС. І цілком ймовірно, тварині потрібна саме здатність пророкувати БС, щоб вона знала, коли починати підготовку, а коли не турбуватися. Наприклад, зв'язок між БС і лампами не має цінності: лампи, хоча і освітлювали приміщення перед подачею їжі, але вони були там і в той час, коли їжі не було й у згадці. Те ж саме відноситься і до запахів, і до більшості звуків у лабораторії: вони пов'язані з їжею, але вони точно так само пов'язані і з відсутністю їжі. Отже, жоден з цих стимулів не дає інформації про те, коли повинна з'явитися їжа, жоден з них не дозволяє собаці пророчити її наближення.

Тварині, мабуть, потрібна якась подія, яка обов'язково відбувалася перед появою їжі, а іншим часом була відсутня. І, звичайно, удари метронома в нашому прикладі були тим стимулом, що відповідав усім цим вимогам, оскільки вони ніколи не звучали в перервах між дослідами, коли їжа не з'являлася. Отже, коли тварина чує метроном, це вірна ознака того, що їжа на підході. Якщо тварині потрібний сигнал, вона повинна довідатися метроном, а не інші стимули, хоча вони і збігаються з бажаною подією.

Збіг і сполучення. Попередній приклад ілюструє аналітичну концепцію класичного обумовлювання, розроблену Робертом Рескорлой (Rescorla, 1967). Відповідно до цієї концепції, класичний умовний рефлекс зв'язаний не тільки зі сполученням УС-БС, але і з тими випадками, коли відсутність УС супроводжує відсутності БС. Ці два досвіди: «метроном / м'ясо» і «немає метронома / немає м'яса» — дозволяють собаці знайти, що наявність БС збігається з наявністю УС (тобто залежить від нього). Саме збіг, а не сполучення дозволяє тварині прогнозувати, яке подія буде наступної, і, згідно Рескорле, саме збіг є вирішальним для умовного рефлексу.

Збіг повиннен бути постійним, але в природі так буває не часто. Чорні хмари звичайно передують бурі, але не завжди. Хоча провісники погоди дуже недосконалі, проте вони інформативні, оскільки більш імовірно, що дощ піде, коли на небі темні хмари, а не яскраве сонце. Чи можуть тварини засвоїти ці відносні зв'язки? Як видно, можуть. Щоб продемонструвати це, Рескорла перевірив на пацюках різні комбінації звуку (УС) і удару струмом (БС). Для однієї групи пацюків поява звукового сигналу означала 40 % імовірність удару струмом, але струм пускався й у 40 % випадків без звукового попередження. У цій групі рефлекс не був встановлений. Для іншої групи пацюків імовірність ударів струмом після сигналу залишилася рівною 40 %, а от кількість ударів струмом без попередження було знижено, так що імовірність появи струму була нижча, коли сигналу не було, ніж коли він звучав. В другій групі рефлекс був встановлений. І чим більша різниця між цими імовірностями, тим сильніша встановлена реакція.

Відсутність збігу. Що ж відбувається, коли взагалі відсутній який-небудь збіг? У цьому випадку імовірність ударів струмом, про які попереджав сигнал, дорівнює імовірності ударів струмом без нього, тобто звуковий сигнал не несе інформації. Але тварина вчиться й у даному випадку: вона засвоює, що в цій ситуації є небезпека і вона не може почувати себе спокійно.

Щоб зрозуміти механізм цієї дії, розглянемо дві ситуації: у першої УС свідчить про те, що, імовірно, незабаром піде струм. Коли звучить УС, тварина лякається. Але коли УС ніемає, тварина може розслабитися, тому що зараз струм малоймовірний. Відсутність УС стає сигналом безпеки, інгібітором страху. В другій ситуації ніяка інформація не може пророчити появи струму. Тепер немає УС, що викликають страх, але з погляду тварини справи йдуть ще гірше. Без УС немає сигналу безпеки, і в результаті тварина постійна відчуває страх.

Розходження між тим ударом струму, коли є попередження, і ударами струму, що не попереджаються, можна віднести до розходження між страхом і тривожністю. Страх викликається конкретною ситуацією або конкретним об'єктом, тоді як тривожність постійна, безпредметна і відноситься до багатьох ситуацій. Багато авторів вважають, що така дифузійна тривожність частково викликається непередбачуваністю ситуації при відсутності сигналів безпеки (Seligman, 1975; Schwartz and Robbins, 1995).

КОГНІТИВНИЙ ПІДХІД ДО ІНСТРУМЕНТАЛЬНОГО ОБУМОВЛЮВАННЯ. Когнітивна теорія сприяла подальшому розвиткові концепції класичного обумовлювання, допомагаючи зрозуміти, що засвоюється і що забезпечує научіння. Подібний когнітивний підхід був застосований і до інструментального рефлексу. Тут научіння також має на увазі щось більше, ніж просто посилення чи послаблення реакції. У тварини з'являється внутрішня картина відносин між підкріпленням і реакцією, за якої воно випливає. Воно не просто учиться натискати на педаль, воно засвоює, що натискання на педаль приносить смачну їжу. У підсумку тварина учиться зв'язувати дія з одержуваним результатом; встановлювану в такий спосіб зв'язок прийнятий називати причинно-наслідковою (Tolman, 1932).

Докази існування причинно-наслідкових зв'язків

Результати багатьох досліджень показують, що набуття нових знань може і не викликати супровідних змін у поведінці. Тварина виявить свої нові знання тільки у тому випадку, якщо вони набувають значимості для організму. Для опису цього поведінкового феномену психологи використовують термін «латентне научіння» — научіння, що ще не проявилося у поведінці тварини.

Латентне научіння можна продемонструвати на різних прикладах. Класичним прикладом є експеримент, у якому пацюки досліджували лабіринт протягом десяти днів, не одержуючи ніякої винагороди. За цей час у їхній поведінці не відбулося яких-небудь помітних змін, але латентне научіння мало місце: пацюки навчилися орієнтуватися в коридорах лабіринту. Це стало очевидним на одинадцятий день, коли вперше була покладена їжа у виходу з лабіринту. Пацюки навчилися добігати до виходу майже миттєво і практично без помилок. Знання, які вони набули раніше, набули мотиваційного значення, і в такий спосіб пацюки швидко продемонстрували те, що вони вже знали.

ДОСЛІДЖЕННЯ СУЧАСНОЇ ПСИХОЛОГІЇ

ЗАБАВА

Соллі провів весь день, граючись з конструктором «Лего». Ніхто не спонукував його до цьому, і ніхто не заохочував його за це. Він грав з «Лего» просто тому, що це заняття його забавляло. Але що ми маємо на увазі, коли говоримо, що «робимо це просто заради забави»? Чи є забава чимось схожим на нагороду, як, наприклад, їжа чи грошова виплата?

Багато дослідників думають, що ми можемо розглядати поведінку Соллі відповідно до тих же принципів, які ми використовуємо для пояснення поведінки пацюка, що натискає на педаль. Нагорода не падає в око просто тому, що ми її поки не знайшли. Можливо, мама Соллі побачила його зайнятим, і її посмішка стала йому нагородою. Або, можливо, Соллі перед цим весь день нудьгував, і конструктор став для нього рятуванням від нудьги. З цього погляду, його гра це не що інше як реакцію уникання і мало чим відрізняється від поведінки собаки, яка стрибає через стінку вольєра, щоб уникнути удару електричним струмом.

Інші вчені заперечують: гра з «Лего» — це не те, що робиться заради якогось зовнішнього заохочення; навпроти, людина включається в гру через свій власний інтерес, гра і є її нагородою. І багато інших видів діяльності підтримуються такого ж роду внутрішньою винагородою. Уявіть собі художника, що малює картину за картиною, хоча б навіть його картини ніколи не виставлялися, їх залишала без уваги критика й у них не було покупців; або вченого, що наполягає у доказі сумнівної гіпотези, незважаючи на критику колег. У цих випадках поводження людини направляється тільки внутрішньою мотивацією, тому вчений продовжує свою роботу незважаючи на те, що зовнішнє заохочення залишається за іншим родом діяльності.

Але чи дійсно внутрішня нагорода кардинально відрізняється від зовнішньої? І чи виправданий поділ між поведінкою, мотивованою внутрішніми причинами, подібним тільки що описаним випадкам, і оперантною поведінкою, вивченою у лабораторних умовах? Авторитетні дослідження говорять, що так. В одному з експериментів дітям у дитячому садку спочатку дали можливість малювати картинки. Дітям явно сподобалося це заняття, і вони малювали постійно, при цьому не одержуючи ніякої іншої нагороди, крім задоволення від самої діяльності.

Потім експеримент був доповнений зовнішнім заохоченням: за малюнки дітей нагороджували барвистими грамотами «Гарний Майстер». Потім, через якийсь час, діти знову мали можливість малювати, але без нагородження грамотами. Тепер діти виявляли значно менший інтерес до малювання, чим спочатку, переважаючи проводити час за іншими заняттями .

Що ж відбулося? Одне з припущень зводиться до того, що грамоти «Гарний Майстер» змусили дітей по-іншому думати про малювання: вони вирішили, що малювання — це щось, за що дають нагороду. Сприймати його як забаву тепер стало недоречно. По суті справи, малювання перестало бути забавою і стало роботою. І тепер не було причини продовжувати малювання, не одержуючи за це нагороду.

При такій інтерпретації зовнішні винагороди (такі, як грамоти «Гарний Майстер») дійсно можуть затьмарити внутрішні нагороди. Якщо це вірно, то така тенденція насторожує. Призи часто використовуються для того, щоб стимулювати дітей, початківців читати. Чи можливо, що ці призи замінять те задоволення, що діти одержують від читання? Чи можливо, що діти будуть читати тільки заради призів і припинять читання, якщо їм не запропонувати за це нагороду? Деякі вчені вважають, що дослідження внутрішньої мотивації підтверджують ці пророцтва.

Інші по-іншому інтерпретують ситуацію: задоволення, стверджують вони, — це таке ж підкріплення, як всі інші, і експеримент із «Гарним Майстром» просто продемонстрував розповсюджений закон, відомий як ефект контрасту. Якщо пацюк, наприклад, звик отримувати дванадцять кульок корму за натискання педалі і раптом став одержувати тільки п'ять, менша нагорода буде видаватися йому образливою і реакція пацюка на цю незначну нагороду буде набагато слабшою. Однак якщо пацюк звик одержувати тільки одну кульку, тоді п'ять кульок покажуться йому бенкетом і її реакція стане швидшою і сильнішою. Результат експерименту з грамотою «Гарний Майстер», можливо, відбиває той же ефект: на початку дослідження для мотивації дітей було досить внутрішньої нагороди, укладеної в малюванні. Пізніше, однак, ця ж нагорода показалася незначної в порівнянні з більшої: внутрішнім задоволенням від малювання плюс грамота «Гарний Майстер». У результаті тепер нагороди, що здається менше, стало недостатньо для мотивації до продовження малювання.

Відповідно до даної точки зору, дія внутрішньої нагороди не відрізняється кардинальним образом від дії зовнішньої, вивченої в оперантної лабораторії. Вона діє точно так само, як діють смачна кулька для пацюка, похвала «Молодець!» або десятидоларові купюри — для людини.

Суперечка між прихильниками цих двох інтерпретацій продовжується; одні вважають, що внутрішнє задоволення має ту ж природу, що й зовнішнє заохочення; інші упевнені в тім, що це зовнішнє заохочення різні. Дискусія іноді стає гарячою, оскільки правильна відповідь дасть відповідь на питання: чи допоможе вивчення оперантного рефлексу зрозуміти, яке заохочення керує поведінкою? Або це всього лише дослідження того, як деяке заохочення керує деякими видами поведінки, а інша діяльність людини (творчість художника, радісна гра дитини) керується іншими механізмами? Ці питання мають велике значення для нашої роботи і для її практичного застосування (наприклад, у класі). Не дивно, що вони залишаються предметом напруженої, і — на жаль — дотепер не завершеної суперечки.

Збіг в інструментальному обумовлюванні

Ми вже знаємо, що класичний умовний рефлекс залежить від збігу між УС і БС, а не від простого їх сполучення. Подібне відношення зберігається і при інструментальному обумовлюванні. Тут відповідний збіг існує між дією і її результатом. Якщо дія — це натискання педалі, а результат — це харчова кулька, тоді збіг визначається імовірністю одержання кульки при натисканні педалі в порівнянні з імовірністю його одержання без натискання педалі. Якщо перша імовірність більша другої, одержання їжі збігається з натисканням педалі. Якщо обидві імовірності однакові, тут немає збігу — одержання їжі і натискання педалі не залежать одне від одного.

Реактивний контроль у дитини. Один з напрямків, що підтверджує важливість збігу при інструментальному научінні, — це дослідження дітей. В одному дослідженні новонароджені були поміщені в колиски, над якими були прикріплені каруселі з різнобарвними іграшками. Як тільки дитина рухала головою, вона замикала контакти реле у своїй подушці, і це запускало карусель у неї над головою, що весело кружляла кілька секунд. Діти незабаром навчилися вертіти головою і включати карусель. Явно одержуючи від цього задоволення, вони посміхалися, агукали і з захопленням дивилися на рух іграшок.

Для другої групи дітей була створена аналогічна ситуація, але з однією істотною різницею: їхні каруселі оберталися точно так само, як і в дітей першої групи, але вони включалися ззовні, а не самими дітьми. І це виявилося вирішальним фактором: кілька днів потому малята другої групи більше не сміялися і не агукали, дивлячись на карусель; схоже, їх зовсім не цікавило її обертання. Це наводить на думку, що малятам з першої групи подобалося не обертання каруселі саме по собі, а той факт, що вони могли її включати. Отже, діти можуть проводити поділ між реактивно-контрольованим і реактивно-незалежним результатом, вони можуть розрізняти ситуації, коли залежність присутня і коли вона відсутня. Дитина нітрохи не менше, ніж дорослі, хоче здійснювати деякий контроль над навколишнім світом. Навіть двомісячне маля хоче бути хазяїном своєї долі.

Вивчена безпорадність. Діти, що включають карусель, ілюструють радість керування. Ще одна дуже важлива серія досліджень показує розпач при повному неволодінні ситуацією. Вони присвячені вивченню ефекту вивченої безпорадності, придбаного відчуття того, що ти більше не можеш контролювати навколишнє, що приводить до сумного наслідку у вигляді відмови від подальших спроб змінити ситуацію.

У класичному експерименті, що демонструє вивчену безпорадність, використовуються дві групи собак, А і Б, що одержують сильний удар струмом, знаходячись у спеціальній запряжці і будучи стягнутими ременями. Собаки в групі А мають можливість контролю над ситуацією. Вони можуть виключити струм, натиснувши на панель, розташовану поруч з їхнім носом. Собаки в групі Б не мають такої можливості. Для них удар струмом — неминучий.

Кількість і тривалість електричних розрядів зовсім однакова для обох груп. Це гарантується тим, що для кожного собаки в групі А є відповідний собака в групі Б, що сполучена з даною. Як тільки собака в групі А відключає струм, він відключається і для другої собаки. Це забезпечує рівний розподіл фізичного страждання між тваринами в обох групах. Що їх розрізняє, так це можливість щось зробити в даній ситуації. Група А може здійснювати контроль над ситуацією, група Б може тільки терпіти.

Чому ж навчилися собаки групи Б в першій фазі цього експерименту? Щоб з'ясувати це, у другій фазі експерименту обидві групи були піддані стандартному тестові научіння униканню, у якому вони повинні були перестрибнути з одного вольєра в іншій, щоб уникнути ударів струму. Собаки в групі А легко засвоїли це завдання. Протягом декількох перших проб вони бігали як божевільні при подачі струму, але потім стрибали через перегородку в інший вольєр. Навіть більше — незабаром вони навчилися стрибати до того, як подавався струм, цілком уникаючи його в такий спосіб. У групі Б, групі, у якій собаки випробували неминучість ударів струму, усе було по-іншому. Спочатку ці собаки поводилися, як і собаки групи А: вони бігали, гавкали і т.д. Але незабаром вони стали набагато пасивнішими. Вони лягали, тихо скиглили і просто терпіли, коли подавався струм. Вони і не намагалися бігти від струму; вони просто припинили всякі спроби. У першій фазі експерименту вони дійсно об'єктивно були безпомічні, вони не могли нічого поробити. Але у вольєрі їхня безпорадність була суб'єктивною, оскільки тепер у них був спосіб полегшити свою долю. Але вони так і не знайшли її. Вони вивчилися бути безпомічними.

На малюнку показаний хід експерименту в загоні в двох груп собак. У кожній пробі тварина могла уникнути удару струмом або утекти від нього. Якщо собака стрибала протягом 10 секунд після УС, вона цілком уникала струму; якщо вона не стрибала протягом 60 секунд, дослід припинявся. Лінії показують, як часто стрибали собаки. Тварини в групі А (лінія I) попередньо одержували удар струмом, якого вони могли уникнути, використовуючи інструментальну реакцію. Тварини в групі Б (лінія II) одержували такий же удар струмом, але вони не могли нічого зробити в цій ситуації.

Безпорадність і депресія. Мартін Селігман, один з відкривачів ефекту виученої безпорадності, стверджував, що подібні механізми лежать в основі розвитку деяких видів депресії в людей. Подібно тваринам, що піддалися депресії, вони «просто сидять на місці». І ті й інші неохоче приймають той факт, що те, що вони роблять, може привести до успіху; і ті й інші худнуть і втрачають інтерес до навколишнього. Для Селігмана і його помічників ці паралелі означають, що причини, які лежать в основі депресії, в обох випадках — ті самі. Подібно безпомічному собаці, пацієнт, що страждає депресією, переконав себе, що його дії не мають сенсу. Селігман довів, що, подібно собаці, такий пацієнт виявлявся в стані хвороби, спочатку пройшовши ситуацію, у якій він був дійсно безпорадний. Якщо собака одержував неминучі удари струмом, знаходячись в упряжці, то хворий зіштовхнувся з важкою втратою, крахом кар'єри чи серйозною хворобою. В обох випадках результат один — впевненість у тому, що між дією і результатом немає ніякого зв'язку, так що варто і намагатися змінити ситуацію.