7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения

Ч. Докинз, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, в качестве репликатора, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, человеческое сознание вынуждено вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерами того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце XVIII века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и правила мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.

8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности

Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.

Например: для того, чтобы доказать опасность некоего самолёта, достаточно указать на то, что в некоторых экспериментах материал обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.

Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности, – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.

С точки зрения науки мы должны доказывать, существование объекта, а с точки зрения безопасности ­­– доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.

9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе

Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология»²⁹⁸ перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или то же самое в случае с реакторами. Сторонники АЭС будут тратить свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, – это может доходить до попыток заткнуть оппонентов.