- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
тия, касающегося бессмысленности многих долгосрочных прогнозов, Тетлок и его жена Барбара Меллерс принялись за изучение того, насколько хорошо люди справляются с предсказанием мировых событий на относительно короткий период – как правило, меньше года. Они обнаружили, что давать краткосрочные прогнозы трудно, но вполне возможно, и некоторые люди, названные Тетлоком и Меллерс суперпредсказателями, показывают лучшие результаты, чем другие, – включая работающих в разведке профессионалов. В принятых здесь терминах новые открытия совместимы с гипотезой о том, что чем дальше мы заглядываем в будущее, тем выше объективная неосведомленность. К суперпредсказателям мы вернемся в главе 21.
Беспомощные эксперты и немногим лучшие модели
Ранние исследования Тетлока продемонстрировали присущую людям абсолютную неспособность к долгосрочным политическим прогнозам. Если бы удалось найти хоть одного человека с настоящим магическим кристаллом, это полностью изменило бы сделанные выводы. Задача считается невыполнимой лишь после того, как многие заслуживающие доверия личности попробовали свои силы и потерпели неудачу. Ранее мы уже показали, что как механическая агрегация информации часто одерживает верх над человечески-
ми оценками, так и точность правил и алгоритмов гарантирует лучшую проверку тому, насколько в действительности предсказуем – или непредсказуем – конечный результат.
После прочтения предыдущих глав у вас могло возникнуть впечатление, что алгоритмы непременно берут верх над оценочными суждениями. Однако это впечатление может быть обманчивым. Модели постепенно становятся лучше людей, но ненамного. По сути нет подтвержденных ситуаций, когда, владея одной и той же информацией, люди проявляют себя из ряда вон плохо, а модели, наоборот, очень хорошо.
В главе 9 мы упоминали обзор 136 исследований139, которые продемонстрировали превосходство механической агрегации над клиническими оценками. В то время как доказательства этого превосходства, вне сомнения, «обширны и последовательны», разница в эффективности невелика. 93 исследования сосредоточились на бинарных оценках (да или нет); они измеряли «процент попадания» у клиницистов и формул. В среднем клиницисты оказались правы в 68 % случаев, формулы – в 73 %. Меньшая подгруппа (35 исследований) использовала в качестве меры точности коэффициент корреляции. В этом случае клиницисты получили среднюю корреляцию с конечным результатом 0,32 (ПС=60 %), а формулы – 0,56 (ПС=69 %). По обоим показателям формулы работали в равной степени лучше, чем клиницисты, однако ограниченная достоверность механических прогнозов бро-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
сается в глаза. Эффективность моделей не изменила картину довольно низкого предельного уровня прогнозируемости.
А что же искусственный интеллект? Как мы заметили, ИИ часто работает лучше простых моделей. Однако в большинстве случаев и его эффективность далека от идеальной. Рассмотрим, например, алгоритм прогнозирования при вынесении решений об освобождении под залог, обсужденный в главе 10. Мы видим, что при одном и том же количестве человек, которым отказано в освобождении, применение алгоритма может снизить уровень преступности до 24 %. Это впечатляющая победа над судьей-человеком, однако если бы алгоритм мог предсказать с идеальной точностью, какие из обвиняемых совершат преступление повторно, уровень преступности мог бы снизиться еще больше. Прогнозирование будущих преступлений в фильме «Особое мнение» неспроста всего лишь фантастика: в предсказании поведения человека немало объективной неосведомленности.
В другом исследовании под руководством Сендила Муллайнатана и Зияда Обермейера была смоделирована поста-
новка диагноза при инфаркте140. Если у пациента имеются симптомы инфаркта, медикам отделения «Скорой помощи» приходится решать, требуются ли ему дополнительные обследования. В принципе такие обследования нужны только в том случае, если риск достаточно высок: они не только дорогостоящи, но к тому же инвазивны и сами по себе рискованны. Поэтому, если нет особой опасности для пациента,
они нежелательны. Таким образом, при назначении обследований врачи должны оценить риск инфаркта. Для этого исследователи создали модель на базе ИИ. Модель использует более 2400 переменных и основана на большом количестве случаев (1,6 миллиона пациентов и 4,4 миллиона обращений к врачам). При таком массиве данных модель, вероятно, достигает нижнего предела объективной неосведомленности.
Неудивительно, что точность модели на базе ИИ оказалась заметно выше, чем у врачей. Чтобы оценить эффективность модели, обратим внимание на пациентов, которых модель отнесла к 10 %, имеющим максимальный риск. По результатам обследований инфаркт был выявлен у 30 % из них, в то время как в группе среднего риска – у 9,3 %. Уровень селективности модели впечатляет, хотя и далек от идеала. Можно сделать разумный вывод, что правильность диагнозов врачей ограничена рамками объективной неосведомленности не менее, чем несовершенством их оценок.
Отрицание неведения
Может показаться, что, настаивая на невозможности идеальных прогнозов, мы утверждаем очевидные вещи. Ясно, что утверждения о непредсказуемости будущего вряд ли можно назвать концептуальным прорывом. Тем не менее очевидность этого факта сравнима разве что с регулярностью, с которой его игнорируют, – что вновь и вновь подтвер-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ждают выводы исследователей об излишней самоуверенности в прогнозах.
Засилье самоуверенности проливает новый свет на наши неформальные опросы экспертов, доверяющих своей интуиции. Мы заметили, что люди часто принимают субъективные ощущения своей правоты за признак достоверности прогнозов. Например, после того как вы в главе 9 просмотрели результаты тестирования Натали и Моники и сделали на их основе логичные выводы, не что иное, как внутренний голос нашептывал вам, что Натали более сильный кандидат. Однако если вы уверены в своем прогнозе, вы стали жертвой иллюзии достоверности: точность прогноза на основе данной вам информации довольно низка.
Люди, не сомневающиеся в своей способности достигать невероятно высокого уровня точности прогнозов, не просто излишне самоуверенны. Они к тому же не признают наличия в своих оценках шумовых помех и смещения. Мало того что ставят себя выше других смертных, так еще и верят в предсказуемость событий, которые фактически непредсказуемы, безоговорочно отрицая существование неопределенности! Придерживаясь терминологии этой книги, мы можем назвать их позицию отрицанием неведения.
Отрицание неведения дает ответ на загадку, которая ставила в тупик Мила и его последователей: почему их идею долгое время не принимали во внимание и почему эксперты продолжают полагаться на свою интуицию? Когда они при-
слушиваются к своей интуиции, они чувствуют внутренний сигнал и испытывают эмоциональный подъем. Этот внутренний сигнал – «я дал правильную оценку!» – заставляет поверить: «не знаю почему, но знаю». Однако объективная оценка истинности подобных озарений редко оправдывает настолько высокую степень уверенности.
Отказаться от эмоциональной награды за интуитивную уверенность нелегко. Лидеры зачастую хвалятся тем, что в
крайне неопределенных обстоятельствах141 склонны прибегать к интуитивным решениям. Когда факты не укладываются в их представления о ситуации и не дают почувствовать себя уверенно, они обращаются к интуиции, которая заполнит все пробелы. И чем больше неизвестности, тем больше соблазна отрицать неведение.
Отрицание неведения дает ответ и на другую загадку. Перед лицом фактов, представленных нами здесь, многие лидеры приходят к парадоксальному на первый взгляд умозаключению. Основанные на интуиции решения могут быть небезупречны, утверждают они, однако если и более продвинутые варианты так же далеки от идеала, то есть ли смысл их предпочитать? Вспомним, например, что средняя корреляция между рейтингами экспертов и эффективностью принятых на работу сотрудников составляет 0,28 (ПС=59 %). Согласно тем же исследованиям и вышеприведенным доказательствам, механическое прогнозирование работает лучше, однако ненамного: точность составляет 0,44 (ПС=65 %). Лю-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
бой руководитель может спросить – а стоит ли игра свеч? Ответ прост: при решении таких важных задач, как под-
бор персонала, увеличение достоверности значит очень много. Те же самые руководители регулярно вносят значительные изменения в свои методы работы ради приобретения выгоды, пусть и не особо большой. Разумом они понимают, что успех никогда не гарантирован; максимально повысить шансы успеха – вот к чему они стремятся, принимая решения. К тому же они знают, что такое вероятность. Никто из них не купит лотерейный билет, который выиграет с вероятностью 59 %, если за ту же цену можно купить билет с вероятностью выигрыша 65 %.
Проблема в том, что «цена» в этой ситуации совсем иная. Интуитивные суждения идут в паре с вознаграждением, с
внутренним сигналом. Люди готовы доверять алгоритму142, который достигает очень высокого уровня точности, потому что он дает им чувство уверенности, равное или превосходящее то, что дала интуиция. Однако отказ от эмоционального вознаграждения – слишком высокая цена, если в качестве альтернативы предлагается некий механический процесс, к тому же не претендующий на высокую достоверность.
Это наблюдение имеет важные последствия для улучшения качества оценок. Несмотря на все доводы в пользу механических и основанных на алгоритмах методов и несмотря на рациональные подсчеты, которые ясно показывают важность поэтапного улучшения качества прогнозов, многие