- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Глава 6 Анализ шума
В предыдущей главе обсуждался разброс в результатах измерений или в суждениях по индивидуальным случаям. В подобных ситуациях разброс в суждениях – это погрешность с двумя составляющими: смещением и шумом. Безусловно, рассматриваемые нами системы вынесения суждений, такие как суды и страховые компании, работают с целым спектром дел и проводят между ними различия. Деятельность федеральных судей и оценщиков страховых убытков не имела бы смысла, если бы по всем рассматриваемым делам они выносили шаблонные суждения. Значительная часть вариативности в суждениях по отдельным делам является намеренной.
Однако разброс в суждениях по одному делу по-прежне- му нежелателен, так как представляет собой системный шум. Как мы увидим далее, ревизия шума в ситуациях, когда одни и те же люди выносят решения по нескольким делам, позволяет провести более тщательный анализ системного шума.
Ревизия шумовых помех при назначении наказаний
Чтобы продемонстрировать анализ шума в ситуации с вы-
несением суждений по множеству дел, обратимся к исклю-
чительно подробной46 ревизии шума при назначении наказаний федеральными судьями. Этот анализ был опубликован в 1981 году в поддержку реформы системы вынесения приговоров, описанной в главе 1. Исследование имело узкую направленность и рассматривало именно приговоры, однако из него можно извлечь полезные уроки и для других областей, где выносятся профессиональные суждения. С помощью этой ревизии шума мы хотели более систематически подойти к «определению масштабов разброса при назначении наказаний», не ограничиваясь наглядными, но не подтвержденными официально примерами, упоминаемыми Франкелом и другими специалистами.
Авторы исследования подготовили 16 гипотетических дел, по которым правонарушители были признаны виновными и ожидали приговора. В кратких описаниях этих дел – случаев ограблений или мошенничества – давались различные сведения по шести категориям, например был ли подсудимый зачинщиком или соучастником преступления, имелось ли у него уголовное прошлое, использовалось ли при ограблении оружие и т. д.
Исследователи провели скрупулезно организованные собеседования с 208 действующими федеральными судьями со всей страны. В течение 90 минут судей знакомили со всеми
16 делами и предлагали вынести по ним приговоры47. Нижеприведенное упражнение по визуализации инфор-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
мации поможет вам оценить, насколько полезны данные, полученные в ходе этого исследования. Представьте себе большую таблицу, состоящую из 16 столбцов, соответствующих преступлениям и помеченных латинскими буквами от А до P, и 208 рядов, по одному на судью, пронумерованных от 1 до 208. В каждой ячейке таблицы, от A1 до P208, указан срок тюремного заключения, назначенный по каждому делу определенным судьей. Эта таблица, состоящая из 3328 ячеек, схематично изображена на рисунке 9. Для изучения шума мы рассмотрим 16 столбцов, каждый из которых представляет собой отдельную ревизию шума.
Рис. 9. Представление результатов исследования о назначениях наказаний
Средний срок приговора
Не существует объективного способа установить «истин-
ное значение» срока приговора в конкретном деле. Ниже мы будем рассматривать среднее значение сроков 208 приговоров по каждому делу (средний срок приговора) в качестве «справедливого». Как отмечалось в главе 1, Комиссия США по вопросам назначения наказаний исходила из такого же допущения, когда в качестве основы для рекомендаций по вынесению приговоров использовала средние значения сроков по прошлым делам. При этом «справедливое» среднее значение срока по каждому делу подразумевает, что смещение равно нулю.
Мы полностью отдаем себе отчет в том, что на практике такое допущение неверно: средний срок приговора по некоторым делам, скорее всего, предвзято смещен, например изза расовой дискриминации, по сравнению со средним сроком других очень похожих дел. Вариативность предвзятого смещения в различных делах – а оно может быть как позитивным, так и негативным – это значимый источник ошибок и несправедливости. В заблуждение может вводить то, что
саму эту вариативность часто48 называют «предвзятостью». Анализ, проводимый в этой главе – как и во всей книге, – посвящен в основном шуму, независимому источнику ошибок. Судья Франкел придавал особое значение несправедливости, вызываемой шумом, однако он также обращал внимание и на предвзятое смещение (в том числе расовую дискриминацию). Подобным же образом не следует считать, что наш упор на явление шума умаляет важность измерения и
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
преодоления смещения вследствие предвзятости.
Для удобства в нижнем ряду таблицы указан средний срок приговора по каждому делу. Дела расставлены по возрастанию суровости приговора: средний срок приговора по делу А составляет 1 год, а по делу P – 15,3 года. Средний срок
назначенного тюремного заключения49 по всем 16 делам – 7 лет.
Теперь давайте вообразим идеальный мир, в котором все судьи – безупречные измерительные инструменты правосудия и в приговорах напрочь отсутствует шум. Как бы в этом мире выглядел рисунок 9? Очевидно, что значения во всех ячейках по делу A были бы идентичными, ведь все судьи назначили бы обвиняемому ровно один год тюремного заключения. Та же картина наблюдалась бы во всех других столбцах. Конечно, значения в каждом ряду отличались бы, поскольку дела разные, однако сами ряды в точности повторяли бы друг друга. Единственным источником разброса в таблице были бы различия между делами.
К сожалению, мир федеральных судебных органов далек от идеального. Судьи непохожи друг на друга, и в столбцах таблицы наблюдается довольно большой разброс значений, что указывает на шум в суждениях по каждому делу. Мы видим гораздо больший разброс в сроках приговора, чем следовало бы, и наша цель – провести анализ этого разброса.