- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
ние стандартов не избавляет судей от работы, заставляя их думать над вопросами, ответы на которые заранее не предусмотрены. Придется выносить разнообразные суждения – как иначе определить, что такое «разумный» или где находится «максимум»? Судья должен наполнить смыслом относительно расплывчатые формулировки. Люди, придумавшие стандарт, по сути передают исполнителям полномочия по вынесению решений.
Методические рекомендации, которые мы обсуждали в главе 22, могут с равным успехом оказаться и правилами, и стандартами. Если рекомендации приняты в форме правил, они существенно ограничат возможность суждения. Даже в тех случаях, когда рекомендации по существу являются стандартами, они далеко не всегда дают простор для маневра. Стандарты не исключают свободу мнения, однако, если их с подобной целью ужесточить, они трансформируются в правила. Отметим, что алгоритмы всегда оперируют правилами, не стандартами.
Неоднородность и неосведомленность
Необходимо изначально понимать, что в неоднородных организациях, обществах и социальных группах гораздо легче ввести стандарт, чем систему правил. Вероятно, руководители компаний согласятся, что их менеджеры должны вести себя подобающим образом, однако и сами точно не зна-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ют, в чем конкретно заключается подобное требование. В смешанном коллективе может зреть возмущение сексуальными домогательствами, так как никто не представляет себе допустимую степень флирта. Университет может запретить студентам заниматься плагиатом, не определив, в каком значении употребляется данный термин. Народ согласен, что конституция должна гарантировать свободу слова, однако никто понятия не имеет, распространяется ли это на коммерческую рекламу, угрозы или сквернословие. Люди не возражают против того, чтобы чиновник, занимающийся вопросами защиты окружающей среды, разрабатывал разумные правила для снижения выброса парниковых газов, однако в чем именно заключается эта разумность?
Если мы разрабатываем стандарты, не расшифровывая их частные нюансы, в результате возникает шум, который контролируется некоторыми из тех стратегий, что мы уже упоминали: обобщением суждений и протоколом промежуточных оценок. Руководители компаний и хотели бы ввести правила, однако не всегда могут прийти к согласию по поводу их содержания. Между прочим, конституции включают в себя множество стандартов (возьмите ту же защиту свободы слова или вероисповедания). То же самое скажем и о Всеобщей декларации прав человека: «Все люди рождаются свободным и равными в своем достоинстве и правах».
Почему стандарты применяются чаще, чем правила? Дело в том, что заставить неоднородную группу людей прий-
ти к единому мнению по поводу содержания правил снижения шума чрезвычайно трудно – и это одна из причин. Руководители компаний не способны выработать терминологию, которая устанавливала бы единый стиль общения сотрудников с клиентами. Стандарт – лучшее, что можно придумать в данном направлении. Можно провести некоторые аналогии и с государственным сектором. Законодатели способны достигнуть компромисса в виде стандарта (и смириться с возникающим в результате шумом), если такова цена введения закона; врачи найдут общий язык, применяя стандарты диагностики болезней. Попытка же разработать правила, с другой стороны, приведет к непримиримым противоречиям.
Вто же время социальная и политическая неоднородность
–не единственная причина, по которой предпочтение отдается стандартам, а не правилам. Порой реальная проблема в том, что у людей недостаточно необходимой информации и потому они не в состоянии согласовать рациональные правила. Университет не способен жестко определить порядок решений о продвижении по службе преподавателей факультетов. Работодатель испытывает сложности, пытаясь спрогнозировать обстоятельства, при которых ему удастся удержать контроль над своими сотрудниками и сохранить дисциплину в коллективе. Национальный законодательный орган, скорее всего, не осведомлен о допустимом содержании в воздухе загрязняющих его веществ: твердых частиц, озона, двуокиси азота или свинца. Лучшим выходом для законодателя станет
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
принятие своего рода стандарта, после чего остается положиться на экспертов, которые и определят критические значения, хотя подобная процедура и чревата шумовыми эффектами.
Правила могут содержать самые разные виды предубеждений. Представьте себе предписание, запрещающее женщинам или, скажем, ирландцам служить в полиции. Однако даже приводя к серьезному смещению, правила резко уменьшают количество шума (если, конечно, все до единого их придерживаются). Допустим, есть норма, ограничивающая право лиц, не достигших двадцати одного года, приобретать алкогольные напитки. Шумовой фон практически отсутствует – во всяком случае, до тех пор, пока люди подчиняются данному требованию. Стандарты, напротив, привносят шум.
Боссы и контроль над подчиненными
Различия между правилами и стандартами – чрезвычайно важное понятие и для государственных, и для частных учреждений, в том числе и для бизнеса. Начальник, пытающийся контролировать подчиненного, неизбежно столкнется с подобным выбором. Вспомним пример, приведенный в главе 2: андеррайтеры страховой компании пытаются определить оптимальный размер страховой премии (не слишком высокой и не чересчур низкой), которая принесла бы компании
наибольшую выгоду. Что должен предложить агентам босс: правила или стандарт? Каждый руководитель компании выбирает: один предоставит агенту четкие инструкции, другой снабдит его указаниями самого общего характера («используй здравый смысл» или «ты должен прийти к наилучшему решению»). Доктор, дающий рекомендации своему пациенту, может сказать: «Принимайте по таблетке утром и вечером» (правило) или «Принимайте лекарство по самочувствию» (стандарт).
Мы уже отмечали, что социальные сети, подобные Facebook, вне всякого сомнения, озабочены уровнем шума и поиском методов его снижения. Компания может поручить своим сотрудникам удалять контент, нарушающий четкое правило: например, под запретом находится обнаженное человеческое тело. С другой стороны, работников могут попросить руководствоваться стандартом (допустим, запрещается травля или иные материалы оскорбительного характера, завуалированные под более мягкую форму). «Нормы сообщества Facebook», впервые размещенные в публичном пространстве в 2018 году, являются занимательным сочетанием правил и стандартов. Там хватает и того, и другого. После того как «Нормы» довели до общественности, посыпались бесчисленные жалобы пользователей, указывавших, что стандарты компании порождают много шума (следствием чего становятся ошибки и несправедливость). Сообщество неоднократно выражало озабоченность: поскольку на Facebook
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
работают тысячи модераторов, каждый из которых выносит собственное суждение, их решения могут существенно варьировать. Решая вопрос об удалении сообщения, модераторы приходили к различным выводам по поводу допустимости контента. Вариативность была неизбежна, и в этом можно убедиться, прочитав выдержку из редакции «Норм сооб-
щества Facebook» от 2020 года412:
Мы считаем «враждебными высказываниями» прямые нападки на людей, связанные с их характеристиками, находящимися под защитой: расовой и этнической принадлежностью, национальностью, вероисповеданием, сексуальной ориентацией, кастой, полом или гендерной идентичностью, серьезными заболеваниями и инвалидностью. Мы также выступаем в защиту иммиграционного статуса. Мы будем считать нападками жестокие и негуманные высказывания, заявления о неполноценности собеседника и призывы к социальной изоляции и сегрегации.
Исполняя подобные рекомендации, модераторы неизбежно будут производить шум. Например, что такое «жестокие и негуманные высказывания»? Facebook прогнозировал подобные вопросы и, отвечая на них, пошел в направлении более однозначных правил. Предписания в целях снижения шума были сведены в единый документ для внутреннего пользования, получивший название «О применении норм».
New Yorker413 удалось раздобыть этот документ. В публичных «Нормах» текст, посвященный графическому контенту, начинался со стандартного захода: «Мы удаляем любой контент, прославляющий жестокость». Нельзя ли поточнее? – спросите вы. Новый регламент содержит откровенные изображения и подробно объясняет модераторам, как следует трактовать те или иные картинки. В документе приведены такие примеры, как «обгоревшие и горящие человеческие тела» и «расчленение человеческого тела». Таким образом, «Нормы» больше напоминают стандарт, тогда как «О применении норм» – это уже скорее правила.
Втом же ключе действуют и авиакомпании, чьи пилоты руководствуются либо правилами, либо стандартами. Вопросы перед летчиками могут стоять разные: от «Следует ли вернуть пассажиров к выходу на посадку, если самолет стоит на взлетной полосе более полутора часов?» до «В какой именно момент следует включать табло «Пристегните ремни»?». Авиакомпаниям скорее придутся по душе именно правила, позволяющие ограничить свободу действий пилота; таким образом снижается вероятность ошибки. С другой стороны, авиаперевозчики склоняются к мысли, что при определенных обстоятельствах пилот должен принять самостоятельное решение. В подобных ситуациях стандарт будет более эффективен, хотя и оставит место для шумового фона.
Вкаждом из описанных нами случаев, да и во множестве других, руководителю, выбирающему между правилами
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
и стандартами, следует сосредоточиться на проблеме шума либо на проблеме смещения, или на том и другом одновременно. Коммерческим фирмам – и крупным, и мелким – подобные решения приходится принимать постоянно. Порой их выбор полагается на интуицию без достаточного обоснования концепции.
Стандарты серьезно различаются как формой, так и содержанием. Иногда содержания как такового не бывает вообще: «делайте то, что считаете нужным при определенных обстоятельствах». Порой стандарты больше напоминают правила, если в них конкретно расписаны допустимые варианты в целях ограничения экспертного усмотрения. Оба инструмента могут перемешиваться и сочетаться. Например, служба по управлению персоналом принимает для себя правило («каждый из кандидатов должен иметь высшее образование»), а дальше действует согласно стандарту («с учетом данного ограничения выбирайте специалистов, способных выдать великолепный результат»).
Мы уже говорили, что правила должны снижать шум или, по возможности, даже устранять его полностью; стандарты, напротив, привносят в процесс достаточное количество шума – разумеется, если предварительно не принять соответствующую стратегию его снижения. И в частных, и в государственных организациях шум нередко становится следствием неспособности установить необходимые правила. Если уровень шума высок – то есть идентичные поступки людей в