Обучение с подкреплением
Условный рефлекс
Условный рефлекс - одна из самых простых программ поведения, основанная на механизмах подкрепления (И.П.Павлов, начало ХХ века). Подкрепление может быть как положительное, так и отрицательное.
Условный рефлекс – индивидуально приобретен- ный рефлекторный ответ, приспосабливающий к условиям среды.
Формируется при сочетании условного (сигнального) раздражения с безусловным рефлексом (или врожденной программой).
Профессор Берг М.Д.
Условия:
•сочетание условного и безусловного раздражений,
•условный сигнал должен предшествовать безусловному,
•многократное повторение этого сочетания. Методика выработки.
Классический слюноотделительный рефлекс по И.П.Павлову:
•звонок
•кормление мясом (положительное подкрепление)
•выделение слюны на мясо.
Многократное сочетание звонка с пищей. Через 10- 40 сочетаний:
•звонок
•выделение слюны на звонок (условный рефлекс
выработан).
Профессор Берг М.Д.
Схема выработки условного рефлекса
Профессор Берг М.Д.
Схема выработки условного рефлекса у мыши (с отрицательным подкреплением)
1.Болевой раздражитель – защитная реакция (бег в другую половину клетки, это – безусловный рефлекс).
2. Звонок + болевой раздражитель – перебежка в безопасное место.
3.Многократное сочетание.
4.Звонок – перебежка в безопасное место. Условный рефлекс выработан.
Профессор Берг М.Д.
Классификация условных
рефлексов
1. По методике выработки:
• естественные,
• искусственные.
2. По виду условного сигнала:
• на свет, звук, запах и т.д.
3. По виду безусловного рефлекса:
• Двигательные (защитные, статокинетические и
др.),
• Вегетативные (сердечный, слюноотделительный
и др.).
4. По сложности:
•первого порядка,
•второго порядка и т.д.
Профессор Берг М.Д.
5. По времени:
•совпадающие,
•коротко отставленные,
•длинно отставленные.
совпадающий |
Коротко |
Длинно отставленный |
|
отставленный |
|
Механизм временной связи Это установление связи между корковыми
центрами условного сигнала и безусловного рефлекса.
Профессор Берг М.Д.
Связь устанавливается между корковыми центрами не за счет ассоциативных или комиссуральных путей КБП, а через подкорковые структуры, участвующие в механизмах
запоминания (долговременной памяти). Направление связи: кора – подкорка – кора.
раздражитель ответ
Профессор Берг М.Д.
Как запоминается нужное поведение?
Один из вариантов. Все виды приобретенного поведения предполагают взаимодействие со средой (передвижение в пространстве, определение направления запахов и звуков и т.д.).
Этому помогает имеющийся у нас в мозге GPS- навигатор.
Он помогает запомнить не только пространствен- ную ситуацию, но и событие, которое здесь произошло, а также правильно выбранное действие (поведение).
Навигатор расположен в гиппокампе и энториналь- ной коре. За обнаружение и исследование GPS- навигатора мозга присуждена нобелевская премия 2014 (М.Мозер, Э.Мозер, Д.О,Киф).
Профессор Берг М.Д.
1.1. Динамический стереотип.
Приобретение навыков бытовой, производствен- ной, спортивной деятельности, письма и чтения в результате многократного повторения одной и той же последовательности действий (в ответ на условные возбуждающие и тормозящие сигналы и безусловные раздражения) – цепочка событий. Термин и методика выработки у собаки предложены И.П.Павловым.
Профессор Берг М.Д.
Так же, путем многократного повторения одной и той же последовательности действий, вырабатываются профессиональные навыки:
•последовательный сбор анамнеза,
•последовательность осмотра больного,
•последовательность выслушивания легких или сердца,
•последовательность действий при операции,
•и т.д.
Воспроизведение стереотипа носит автоматизиро- ванный характер. Это облегчает жизнь и работу. Но трудно на фоне уже имеющегося стереотипа приобрести новый, «легче человека научить, чем переучить» .
Переучивание сопровождается значительными нервными нагрузками, вызывает стресс.
Профессор Берг М.Д.