Режимы подкрепления

Режимы подкрепления — это правила или условия, определяющие, как часто и при каких обстоятельствах подкрепляющее событие (стимул, реакция или награда) следует за целевым поведением. Понятие является одним из центральных в теории оперантного обусловливания, разработанной американским психологом Берресом Фредериком Скиннером. Режимы подкрепления описывают, каким образом зависимость между поведением и его последствиями влияет на скорость приобретения, прочность и угасание поведенческих паттернов. Исследования в этой области легли в основу модификации поведения в образовании, психотерапии, дрессировке животных и управлении персоналом.

История и происхождение понятия

Термин «режим подкрепления» был введён в 1930-х годах Скиннером в ходе экспериментов с животными (преимущественно крысами и голубями) в так называемом «ящике Скиннера». В этих опытах животное должно было нажать на рычаг или клюнуть диск, чтобы получить подкрепление (пищу). Скиннер заметил, что различное расписание выдачи подкрепления приводит к разным закономерностям в поведении: некоторые режимы давали более стабильный и устойчивый к угашению ответ, другие — более высокую частоту реакций.

Развитие концепции связано с именами таких исследователей, как Чарльз Ферстер, который совместно со Скиннером опубликовал в 1957 году книгу «Schedules of Reinforcement», систематизировавшую основные типы режимов. Позднее идеи были применены в рамках поведенческой психологии и экономики.

Классификация режимов подкрепления

Основное деление режимов проводится по двум критериям: по признаку постоянства (фиксированные или переменные) и по признаку зависимости от времени или количества реакций (интервальные или пропорциональные). В результате выделяют четыре базовых режима, которые могут комбинироваться. Также существуют более сложные схемы — с несколькими компонентами, с подкреплением не всех подряд реакций и т. д.

### Фиксированный пропорциональный режим (ФП)

Подкрепление выдаётся после фиксированного числа реакций. Например, после каждых 10 нажатий на рычаг животное получает корм.

• Характеристика: наблюдается высокая частота и стабильность реакций, но после подкрепления часто наступает короткая пауза.
• Угасание: после прекращения подкрепления поведение угасает относительно быстро.
• Примеры: работа сдельная (оплата за каждую изготовленную деталь), акции бонусов за определённое количество покупок («каждая 5-я чашка кофе бесплатно»).

### Переменный пропорциональный режим (ПП)

Подкрепление выдаётся после некоторого количества реакций, которое меняется от одного подкрепления к другому в пределах некоторого среднего значения. Например, в среднем после каждого 10-го нажатия, но фактически может быть после 5-го, 15-го, 8-го и т. д.

• Характеристика: частота реакций очень высокая и равномерная, паузы после подкрепления минимальны или отсутствуют.
• Угасание: поведение очень устойчиво к угашению, поскольку животное не может определить, когда прекратилось подкрепление.
• Примеры: игровые автоматы (выигрыш происходит через переменное количество игр), ловля рыбы (поклёвка нерегулярна), торговля на фондовом рынке.

### Фиксированный интервальный режим (ФИ)

Подкрепление выдаётся за первую реакцию, произведённую после фиксированного промежутка времени с предыдущего подкрепления. Например, пищу можно получить только спустя 1 минуту после предыдущего подкрепления, независимо от того, сколько раз животное нажимает в это время.

• Характеристика: характерен «скроллинг» — после получения подкрепления частота реакций падает почти до нуля, а затем, ближе к окончанию интервала, резко возрастает.
• Угасание: умеренная устойчивость.
• Примеры: ежемесячная зарплата (известно, когда придёт выплата), проверка почты каждый час.

### Переменный интервальный режим (ПИ)

Подкрепление выдаётся за первую реакцию, произведённую после переменного промежутка времени с предыдущего подкрепления. Средняя длина интервала задаётся, но каждый раз разная. Например, в среднем через 5 минут, но может быть через 2, 7, 9 минут.

• Характеристика: частота реакций равномерная и средняя, без пауз перед подкреплением.
• Угасание: очень устойчиво к угашению.
• Примеры: проверка новых сообщений в мессенджере (неизвестно, когда придёт ответ), ожидание звонка от друга.

Комбинированные и специальные режимы

Кроме базовых, существуют более сложные схемы:

• Режим с ограничением по числу неподкреплённых реакций: подкрепление даётся только после определённого количества неподкреплённых реакций (например, после каждых 20 неверных ответов даётся подсказка).
• Режим с фиксированной задержкой: подкрепление происходит с фиксированной задержкой после реакции.
• Режим с дифференцированным подкреплением низкой или высокой частоты: подкрепляются только реакции, происходящие с определённой частотой.
• Сложные последовательности: цепочки из нескольких режимов, которые сменяют друг друга (например, сначала ФП-10, потом ПИ-5 минут).

Факторы, влияющие на эффективность режимов

Несколько ключевых переменных определяют поведение в зависимости от режима:

• Величина подкрепления: чем значимее награда, тем сильнее мотивация.
• Задержка подкрепления: короткая задержка повышает вероятность выработки ассоциации.
• Принцип моментальности: чем быстрее подкрепление следует за реакцией, тем эффективнее обучение.
• Конкурирующие режимы: если человек или животное одновременно находится под действием нескольких режимов, поведение может меняться.

Применение в различных областях

### В психологии и психотерапии

Режимы подкрепления используются в поведенческой терапии: для коррекции нежелательного поведения (например, при фобиях, зависимостях) и для укрепления альтернативных конструктивных реакций. В частности, режим переменного подкрепления используется для поддержания устойчивого изменения поведения.

### В образовании

Педагоги используют различные расписания похвалы, оценок и привилегий. Например, фиксированный интервал (еженедельные тесты) стимулирует подготовку, а переменное подкрепление (неожиданные небольшие похвалы за активность) удерживает интерес.

### В экономике и маркетинге

• Скидочные программы: накопительные карты с фиксированным процентом скидки после определённого числа покупок (аналог ФП).
• Лотереи и розыгрыши: переменное подкрепление стимулирует постоянное участие.
• Системы заработной платы: сдельная оплата (ФП) и повременная оплата (ФИ).

### В дрессировке животных

Дрессировщики сознательно выбирают режимы: от фиксированного пропорционального (например, дать лакомство за каждое выполненное действие) до переменного интервального (похвала через нерегулярные промежутки времени) для закрепления навыка.

### В управлении поведением (бизнес и менеджмент)

Принципы режимов используются для разработки систем мотивации сотрудников: переменные бонусы, программы признания заслуг, неожиданные поощрения.

Критика и ограничения

Некоторые учёные отмечают, что классическая теория режимов подкрепления слишком упрощает реальное человеческое поведение, которое зависит от когнитивных факторов, личных ценностей и социального контекста. В лабораторных условиях условия строго контролируются, в реальной же жизни одновременно действуют множество подкрепляющих и наказывающих стимулов, что делает прогнозирование сложным. Кроме того, исследования часто проводятся на животных, что не всегда переносимо на человека. Также существуют этические возражения относительно применения систем манипуляции поведением (например, в гемблинге).

Интересные факты

• Эксперименты Скиннера на голубях показали, что при переменном пропорциональном режиме голуби могут совершать до 10 000 клевков без единого подкрепления, прежде чем поведение угаснет.
• Режимы подкрепления лежат в основе многих азартных игр, которые используют принцип переменного подкрепления для поддержания зависимости.
• В бытовом контексте люди часто непроизвольно используют режимы подкрепления: родители могут подкреплять истерику ребёнка вниманием (некоторая форма переменного подкрепления), что приводит к укреплению нежелательного поведения.

Источники

• Ferster, C. B., & Skinner, B. F. (1957). Schedules of Reinforcement.
• Skinner, B. F. (1938). The Behavior of Organisms.
• Лайтман, Б. (2008). Большой психологический словарь.
• Шапиро, Д. (2015). Поведенческая экономика и психология.