- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Общий обзор
Шуму в медицине посвящено огромное количество книг. В основном эти труды описывают эмпирические исследования шумовых помех, однако есть немало литературы, содержащей рекомендации. Люди, работающие в системе здравоохранения, находятся в постоянном поиске стратегий снижения шума, которые принимают разнообразные формы и являются настоящим кладезем идей, достойных применения в иных отраслях.
Что такое шум в медицине? Бывает, что один врач явно прав, другой же наверняка ошибается (возможно, проявляется когнитивное искажение). Вполне предсказуемо, что огромную роль играет мастерство. Почитайте, как описыва-
ют картину пневмонии разные рентгенологи296, и вы обнаружите значительный шумовой фон. Частично он вызван разницей в компетентности. Более конкретно «разницей в профессионализме объясняется 44 % расхождений в диагностических решениях». Из этого следует, что «политика повышения уровня знаний может дать лучшие результаты, нежели методические рекомендации». В медицине, как, впрочем,
и везде, обучение297 и отбор являются решающими факторами, которые снижают вероятность ошибок, устраняя как смещение, так и шумовые помехи.
Специалисты, занятые в ряде областей медицины (напри-
мер, рентгенологи и патологоанатомы), прекрасно знают о наличии шума в профессии. Рентгенологи, например, назы-
вают298 разброс мнений при диагностике «ахиллесовой пятой». Да, в патологической анатомии и рентгенологии шум привлекает повышенное внимание. В чем причина? Либо уровень шума в данных областях и вправду настолько высок, либо его просто-напросто легче зарегистрировать. Ответа нет, но мы подозреваем, что причина кроется именно в легкости выявления. Рентгенология предоставляет все возможности для проведения простых и понятных тестов. Например, всегда можно вернуться к рентгеновским снимкам и пересмотреть ранее вынесенное суждение.
Уровень межэкспертной надежности обычно измеряют
методами каппа-статистики299. Чем выше число каппа, тем меньше шума. Значение каппы на уровне единицы говорит о единодушном совпадении мнений; значение «0», пожалуй, может возникнуть лишь в обезьяньей стае при попытке поставить диагноз метанием дротиков в соответствующую мишень. В некоторых областях медицинской диагностики надежность, измеряемая данным коэффициентом, определяется как «слабая» или «ничтожная», что свидетельствует о высоком содержании шума. Нередко степень надежности классифицируется как «удовлетворительная». Подобная оценка, безусловно, выше и все же говорит о значительном шумовом фоне. При ответе на важнейший вопрос о наиболее значимых примерах взаимодействия лекарственных препа-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ратов300 врачи общей практики, рассматривая комбинации сотни произвольно выбранных лекарств, показали «ничтожную» степень согласованности. Для нас, сторонних наблюдателей, а также для многих врачей диагностика заболеваний почек представляется относительно несложной. И все же нефрологи, оценивая результаты обычных анализов, сдаваемых при почечной недостаточности, демонстрируют в сво-
их суждениях301 колебания согласованности от «слабой» до «умеренной».
В одном из исследований проводился эксперимент по определению злокачественности поражения молочной желе-
зы302. Результаты свидетельствуют об «удовлетворительной» степени согласия между специалистами. При диагностике
пролиферирующего поражения молочной железы 303 степень согласия осталась без изменения. Точно такой же итог мы видим при оценке врачебным персоналом картины МРТ-ис- следования по поводу определения стадии спинального сте-
ноза304. Данные результаты заслуживают внимания. Как мы уже упоминали, в некоторых сферах медицины уровень шума чрезвычайно низок, однако в технически сложных областях это далеко не так. Если пациента обследуют по подозрению на серьезное заболевание (например на предмет рака), процесс постановки диагноза превращается в своеобразную лотерею. Все зависит от того, к какому врачу вы попадете на прием.
Рассмотрим выводы некоторых исследований, описанных в литературе. Возьмем те из них, что проводились в областях, где уровень шума особенно высок. Мы оцениваем данные результаты отнюдь не с целью сделать авторитетное заявление о текущем состоянии сложившейся врачебной практики (кстати, эволюция и рост эффективности налицо и в этих отраслях медицины). Наша задача – получить общее представление о степени распространения шумовых помех как в недавнем прошлом, так и в настоящем.
1. Заболевания сердца – основная причина305 как мужской, так и женской смертности в Соединенных Штатах. Коронарография – главный способ исследования в кардиологии – применяется, чтобы оценить степень закупорки сердечных артерий и при острой, и при хронической форме болезни. В хронических случаях, когда пациент периодически испытывает боли в грудной клетке, при закупорке 70 и более процентов одной или нескольких артерий часто прибегают к шунтированию. Однако при изучении коронарограмм зарегистрирован существенный разброс мнений специалистов; значит, имеется риск назначения ненужной пациенту процедуры. Исследования, проводившиеся много лет назад,
выявили, что в тридцати одном случае из ста306 врачи не могут прийти к единодушному мнению относительно степени закупорки крупного кровеносного сосуда. Кардиологи отдают себе отчет, что вариативность в интерпретации коронарограмм существует, принимают разнообразные корректирую-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
щие меры, и все же на сегодняшний день радикального решения проблемы не найдено.
2. Под эндометриозом мы понимаем нарушения, при которых ткань, выстилающая внутреннюю сторону матки, прорастает наружу. Заболевание достаточно болезненно и порой приводит к бесплодию. Для диагностики эндометриоза часто используют лапароскопию, когда маленькая камера вводится хирургическим путем в тело пациентки. Цифровую картинку, полученную при обследовании трех больных, показали 108 хирургам-гинекологам. У двух пациенток диагностировали эндометриоз различной степени тяжести, у третьей женщины заболевания не выявили. Хирургов попросили выразить мнение по поводу количества и расположения очагов эндометриоза. Разброс суждений оказался значитель-
ным307; точки зрения относительно масштаба и места поражения коррелировали очень слабо.
3. Туберкулез – одна из самых распространенных и смертельно опасных болезней: только в 2016 году им заразилось более 10 миллионов человек, из которых 2 миллиона умерли. Признанным способом выявления туберкулеза остается флюорография – обследование легких на предмет каверн, связанных с деятельностью палочки Коха. Вариативность диагностики туберкулеза отмечается уже на протяжении 75 лет. За последние десятилетия методы диагностики совершенствуются, и все же последние исследования выяв-
ляют значительный разброс мнений308; степень межэксперт-
ного согласия варьирует от «умеренной» до «удовлетвори-
тельной». Точки зрения рентгенологов разных стран309 на диагностику туберкулеза также имеют отличия.
4. Межэкспертное согласие специалистов при исследовании поражений кожи с целью исключения меланомы – одной из самых опасных разновидностей рака кожи – дотянуло лишь до оценки «умеренно». Восемь специалистов лабо-
раторной диагностики, рассматривавшие310 результаты анализов, лишь в 62 % случаев приходили к единогласному выводу (либо имели разночтения не более чем по одному из параметров оценки). Еще один эксперимент, проведенный
в онкологическом центре311, показал, что точность определения меланомы составляет лишь 64 %; следовательно, врачи ставили неверный диагноз в одном из трех случаев. В ходе другого исследования выяснилось, что в тридцати шести случаях из ста дерматологи Нью-Йоркского университета не сумели определить меланому по результатам биопсии. Авто-
ры исследования пришли к выводу312, что «неспособность клинических специалистов четко диагностировать меланому имеет печальные последствия для жизни пациентов, страдающих смертельно опасным заболеванием».
5. Подвержены вариативности и суждения рентгенологов относительно рака молочной железы. Обширное исследование показало, что количество ложноотрицательных диагнозов по результатам изучения маммограмм у разных специ-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
алистов колеблется от 0 % (то есть рентгенолог неизменно правильно ставит диагноз) до величины, превышающей 50 % (рентгенолог дает неверную оценку более чем в половине случаев). Сходным образом варьируют и ложноположительные диагнозы313: от величины менее 1 % до 64 % (то есть два раза из трех рентгенолог говорит, что маммограмма свидетельствует о раке, когда злокачественного образования и в помине нет). Наличие ложных положительных и отрицательных диагнозов, поставленных различными специалистами, свидетельствует о наличии шумового фона.
Упомянутые нами случаи межэкспертного шума доминируют в результатах исследований, однако встречаются слу-
чаи и шума ситуативного. Рентгенологи порой меняют 314 свою точку зрения при повторном просмотре снимка (хотя подобное явление отмечается реже, чем несогласие с оценкой коллеги). Оценивая степень закупорки сосуда на коро-
нарограмме315, двадцать два кардиолога не могут прийти к внутреннему согласию минимум в 63 и максимум в 92 случаях из 100. В тех областях, где критерии диагностики опре-
делены расплывчато316 и диагноз требует сложного суждения, межэкспертная надежность показывает весьма скромные результаты.
Исследование, упомянутое в предыдущем абзаце, не предлагает однозначного объяснения подобного уровня ситуативного шума. Однако другой эксперимент (в котором,
правда, проблемы диагностики не фигурируют)317 выявил вполне банальный источник ситуативного шума в медицине. Этот вывод следует держать в уме как пациентам, так и врачам. Итак, медики в подавляющем большинстве проявляют склонность к назначению исследований на онкологию по утрам и гораздо реже делают это после обеда. В ходе наблюдения за большим количеством специалистов выяснилось, что направления на исследования по поводу рака молочной железы и кишечника чаще всего выдают в 8:00 (в 63,7 % случаев). К 11:00 доля таких назначений снижается до 48,7 %, вновь повышаясь до 56,2 % к полудню, а затем вновь падает до 47,8 % к 17:00. Таким образом, пациенты, попадающие на прием в районе обеда и позже, получат подобное направление (между прочим, упомянутое в методических рекомендациях) с меньшей вероятностью, чем с утра.
Как объяснить подобный результат? Один из возможных ответов: врач неизбежно начинает выбиваться из графика после работы с несколькими пациентами со сложной симптоматикой, которые отнимают у него более двадцати минут стандартного приема. Мы уже говорили в главе 7 о немаловажной роли таких механизмов возникновения ситуативного шума, как стресс и усталость; похоже, что они срабатывают и здесь. Пытаясь войти в график, доктор сокращает время беседы с очередным пациентом, пропуская рассказ о профилактических мерах. Любопытный пример ситуативного шума: в конце смены клинический специалист реже и менее
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/