- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Допустимое количество шума
Разумеется, борьба с шумом – не единственная забота компаний и людей, отвечающих за принятие решений. Снижение шума может обойтись чрезмерно дорого: так, в средней школе можно привлечь пять преподавателей для проверки работ старшеклассников, чтобы иметь пять точек зрения на одну работу. Едва ли подобные усилия оправданны. На практике некоторого количества шума избежать не удастся; он всегда будет побочным продуктом системы, в которой процессы настроены на индивидуальное рассмотрение каждого дела. В подобной системе люди не чувствуют себя винтиками в машине, наслаждаясь ощущением свободы волеизъявления. Некоторый шум даже может быть желателен, если вариации, создаваемые им, позволяют адаптироваться к изменению системы ценностей и целей и запускают полемику, ведущую к переменам деловой практики или законодательства.
Чрезвычайно важно отметить, что стратегии снижения шумовых помех могут иметь неприемлемые недостатки. Озабоченность по поводу использования алгоритмов во многом раздута искусственно, однако некоторые опасения вполне обоснованны. Алгоритмы выдают глупые ошибки, которые человек никогда не сделал бы, и по этой причине теряют доверие, пусть и преуспевают в предотвращении
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
многих ошибок, свойственных людям. На алгоритмы влияют ошибки при их разработке или обучение на неправильных данных. Неодушевленность программ порождает недоверие к ним. Практики гигиены принятия решений также содержат изъяны: при плохом управлении существует риск бюрократизации решений; специалисты, ощущая, что их независимость сходит на нет, падают духом.
Все упомянутые риски и ограничения необходимо серьезно проанализировать. И все же любые возражения против снижения шума имеют смысл лишь в случае предметного обсуждения конкретной стратегии. Аргументы против обобщения суждений (например, в случае их дороговизны) не имеют никакого отношения к критике методических рекомендаций. Безусловно, если издержки снижения шума перекрывают потенциальные выгоды, не стоит слепо придерживаться подобной стратегии. Или, допустим, в результате сопоставления выгод и затрат может выясниться, что оптимальный уровень шума – выше нуля. Проблема в том, что, не проводя ревизию шумовых помех, невозможно удостовериться, каков уровень шума в суждениях. В таком случае жалобы на трудности с внедрением стратегии снижения шума
– всего лишь повод для тех, кто вообще не собирается измерять уровень шумового фона.
Смещение приводит к ошибкам и несправедливости. То же самое можно сказать и о шуме, и все же на борьбу с ним мы затрачиваем гораздо меньше усилий. Кто-то полагает,
что с ошибкой в суждении проще смириться, если она имеет случайный характер, и все же она наносит не меньше ущерба, чем те промахи, причина которых известна. Если мы желаем добиться лучшего качества важных решений, следует серьезно отнестись к мерам по снижению шума.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Эпилог «Бесшумный» новый мир
Давайте вообразим, какими станут компании, настроившиеся на снижение шума. Больницы, кадровые агентства и службы экономического анализа, правительственные учреждения и страховые компании, системы здравоохранения и уголовного правосудия, адвокатские конторы и университеты – каждая из этих структур будет остро реагировать на шум и стремиться к его снижению. Ежегодные ревизии шумовых помех превратятся в обыденную процедуру.
Руководители организаций перейдут на использование алгоритмов, которые либо заменят человеческие сужения, либо дополнят их в гораздо большем количестве сфер, чем сегодня. Специалисты научатся разбивать процесс комплексного суждения на упрощенные промежуточные оценки, осознают пользу гигиены принятия решений и будут следовать ее процедурам. Мы возьмем за правило выделять и обобщать независимые суждения. Совещания приобретут совершенно иной характер; дискуссии станут структурированными. Взгляд со стороны все больше и больше будет интегрироваться в процесс принятия решений. Эксперты станут чаще выражать открытое несогласие с проектами решений, и в то же время подобные возражения будут разрешать-
ся наиболее конструктивными методами.
В результате мы получим менее шумный мир, сэкономим огромное количество денег, улучшим национальную безопасность и здравоохранение. Вырастет доля справедливых решений, а возможные ошибки будут устраняться еще до их появления. Именно к таким возможностям мы и хотели привлечь ваше внимание, когда начали эту книгу. Надеемся, что вы окажетесь в числе тех читателей, которым наши идеи по душе.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
Приложение 1 Методика проведения ревизии шумовых помех
Данное приложение представляет собой практические рекомендации по проведению ревизии шумовых помех. Вам следует ознакомиться с ним с точки зрения консультанта, нанятого определенной организацией для проверки качества профессиональных суждений на примере одного структурного подразделения.
Как следует из названия процедуры, ревизия определяет степень распространения шума. В то же время качественный анализ даст заказчику еще и ценную информацию о наличии искажений, мертвых зон и специфических недостатков в подготовке сотрудников и методах контроля их деятельности. Успешная ревизия обязательно стимулирует изменения в работе подразделения. Изменения коснутся основной концепции, задающей направление суждениям сотрудников и системы их обучения, инструментария, используемого при формировании суждений и системы ежедневного контроля. Если ревизия прошла удачно, не исключено, что заказчик попросит провести ее и в других подразделениях организации.
Ревизия шумовых помех потребует серьезного объема ра-
боты и пристального внимания к подробностям, ибо при выявлении существенных недостатков неизбежно возникнут многочисленные вопросы. Каждый нюанс исследования и технические особенности процедуры следует рассматривать с точки зрения потенциально враждебного отношения со стороны заказчика. Процесс, который мы опишем чуть ниже, нацелен именно на снижение возможной неприязни и заключается в привлечении на свою сторону тех сотрудников заказчика, которые могли бы стать самыми ярыми противниками ревизии. Мы сделаем из них соавторов сценария.
Помимо консультанта (привлеченного со стороны или из штата организации) мы включим в деловую игру еще несколько действующих лиц:
• Команда проекта. Команда отвечает за каждый этап исследования. Если привлечены консультанты из штата компании, они и составят ядро такой группы. Если же консультантов пригласили из сторонней организации, то наша команда проекта будет работать с ними в тесном контакте. Таким образом мы гарантируем, что штат изучаемой компании будет рассматривать ревизию как свой собственный проект, воспринимая консультантов в качестве группы поддержки. Итак, консультанты занимаются обеспечением сбора данных, анализом результатов и готовят окончательный отчет. В команду проекта также следует включить специалистов, компетентных в вопросах, которые войдут в исследо-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
вание. Они разработают сценарий игровой ситуации, в условиях которой и будут работать эксперты изучаемого подразделения. Каждый член команды проекта должен иметь безупречные профессиональные характеристики.
•Клиенты. Ревизия шумовых помех полезна лишь в том случае, если приводит к значительным изменениям; таким образом, уже на ранней стадии проекта необходимо участие руководства компании – «клиента» заказанного исследования. На первом этапе резонно ожидать скептического отношения со стороны клиента. Однако заранее заданный скепсис станет и преимуществом, если руководитель-клиент открыт для обсуждения, проявляет любопытство к результатам ревизии и готов принять меры по исправлению ситуации в том случае, если пессимистические прогнозы подтвердятся.
•Судьи. Клиент выбирает одно или несколько подразделений, в которых пройдет ревизия. В таком подразделении мы ожидаем увидеть достаточное количество «судей» – профессионалов, которые формулируют от имени организации суждения по определенным вопросам и выносят соответствующие решения. Судьи должны быть взаимозаменяемы. Если по каким-то причинам один из специалистов не может принять участие в исследовании – его заменяет коллега, от которого ожидается вынесение аналогичного суждения. В самом начале книги мы привели несколько примеров – ре-
шения о вынесении приговоров федеральными судьями, а также определение размера страховой премии и величины резерва на возможные потери в страховой компании. В данном случае нам следует выбрать задание для вынесения суждения, которое, во первых, может быть выполнено в письменном виде и, во вторых, выражается количественно (доллары, степень вероятности, баллы).
• Менеджер проекта. На эту роль назначается руководитель высокого ранга из административного аппарата компании. Углубленных специальных знаний менеджеру проекта не потребуется. В то же время высокая должность менеджера имеет практический смысл: во первых, нам легче будет преодолевать возникающие административные препоны, во в- торых, мы лишний раз продемонстрируем то значение, которое компания придает проекту. Задача менеджера заключается в административной поддержке и помощи на всех стадиях, в том числе при подготовке окончательного отчета и доведении его результатов до руководства компании.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/