- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
множества спортсменов, так и у одного игрока. Штрафной бросок – тоже своего рода лотерея. Конечно, шансы на успех будут выше, если пробивает Карри, и ниже, если О’Нил, но все равно это не что иное, как лотерея.
Откуда же берется эта вариативность? Нам известно, что на игрока, стоящего на штрафной линии, влияют бесчисленные факторы: усталость от долгой игры, напряжение из-за минимального разрыва в счете, шумная поддержка болельщиков или свист фанатов команды-соперника. Если промахивается игрок уровня Карри или Нэша, мы прибегаем к одному из вышеперечисленных объяснений. Но мы не можем знать наверняка, какую именно роль играют все эти факторы. Разброс в результатах бросков баскетболиста – тоже один из видов шума.
Вторая лотерея
Никого не удивляет разброс в результатах штрафных бросков или в показателях других физических процессов. Мы привыкли, что наше тело время от времени ведет себя по-разному: меняются пульс, давление, рефлекторные реакции, тембр голоса, твердость руки. И как бы мы ни старались точно воспроизвести свою подпись, каждый раз она выходит слегка иной.
Несколько сложнее наблюдать вариативность наших умственных процессов. Конечно, нам всем приходилось менять
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
свое мнение, иногда даже просто так, без явной причины. Фильм, над которым мы до слез смеялись прошлым вечером, сегодня кажется весьма посредственным и проходным. Человек, которого мы вчера строго осуждали, теперь видится нам заслуживающим снисхождения. Довод, который мы находили неудачным и расплывчатым, вдруг становится ясным и принципиально важным. Однако, как подсказывают подобные примеры, обычно такие перемены происходят, когда дело касается незначительных и довольно субъективных вопросов.
На практике наше мнение действительно может поменяться без видимых причин – и это касается даже тщательно взвешенных и выверенных оценок экспертов. Например, нередки случаи, когда врачи, которых дважды знакомили с анамнезом одного пациента, давали два заключения, значительно отличавшихся друг от друга (см. главу 22). Когда на
крупном конкурсе вин в США эксперты56 повторно дегустировали одно и то же вино и только в 18 % случаев давали ему одинаковые оценки (обычно это были вина не самого высокого качества). Эксперт-криминалист может прийти к разным выводам, изучив одни и те же отпечатки пальцев дважды с разницей в несколько недель (см. главу 20). Опытные
консультанты по программному обеспечению57 могут предложить весьма отличные друг от друга оценки сроков выполнения одного и того же задания, если их спросить об этом дважды в разные дни. Проще говоря, подобно баскетболи-
сту, не способному производить идентичные броски, мы не всегда выносим идентичные оценки, имея дело с одними и теми же фактами повторно.
Мы уже сравнивали процесс назначения андеррайтера, судьи или врача с лотереей, создающей системный шум. Ситуативный шум – продукт второй лотереи. Результаты этой лотереи зависят от конкретного момента вынесения суждения экспертом, от его расположения духа, от набора похожих случаев, которые еще свежи в его памяти, а также от бесчисленных других особенностей ситуации. Вторая лотерея, как правило, намного более абстрактна, чем первая. К примеру, мы можем вообразить, что во время первой лотереи назначается другой андеррайтер, однако возможные альтернативные суждения андеррайтера, назначенного на практике, все так же остаются умозрительными вероятностями. Нам известно лишь то, что окончательное суждение было выбрано из множества возможных. Ситуативный шум – это вариативность среди этих неявных возможностей.
Измерение уровня ситуативного шума
Измерить уровень ситуативного шума непросто во многом по той же причине, по которой новость о его существовании часто является для нас сюрпризом. Тщательно обдумывая свое профессиональное мнение, эксперты подбирают доводы, которые выступают в качестве подходящего обосно-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
вания их суждения. Если им приходится объяснять свое решение, они обычно прибегают к аргументам, которые находят убедительными. Когда же экспертам предлагают решить эту проблему повторно и при этом они ее узнаю`т, они воспроизводят ответ, данный ранее, с целью свести свои усилия к минимуму и обеспечить последовательность. Вот наглядный пример из сферы образования: если учитель ставит студенту за сочинение «отлично», а спустя неделю перечитывает работу и видит свою первоначальную оценку, маловероятно, что теперь он оценит это сочинение по-другому.
По этой причине, если задачи, которые решают эксперты, легко запомнить, измерить ситуативный шум напрямую довольно непросто. К примеру, если показать андеррайтеру или судье дело, по которому они уже вынесли решение, скорее всего, они смогут его узнать и просто повторить свое предыдущее заключение. Один обзор исследований вариативности в профессиональных суждениях (формально известный как «ретестовая надежность») включал множество экспериментов, в которых специалистам дважды предлагалось сделать заключение по одному и тому же вопросу в течение одной сессии. Нет ничего удивительного в том, что ис-
пытуемые не противоречили сами себе58.
В экспериментах, упомянутых нами ранее в этой главе, эту проблему удалось обойти, усложнив специалистам узнавание ранее виденных задач. Винные эксперты проводили дегустацию вслепую. Дактилоскопистам показывали уже