2. Принцип предосторожности

Он означает подготовку к наихудшему реалистичному сценарию во всех ситуациях неопределённости. Реалистичным следует считать любой сценарий, который не противоречит известным законам физики и имеет точно измеримую вероятность выше некого порогового уровня. Это соответствует принципу консервативной инженерной оценки. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию. Одна из формулировок принципа предосторожности звучит так: «Принцип предосторожности является моральным и политическим принципом, который утверждает, что если некое действие или политика могут причинить жестокий или необратимый ущерб обществу, то, в отсутствии научного согласия о том, что вреда не будет, тяжесть доказательства лежит на тех, кто предлагает данные действия»³³⁴.

3. Принцип сомнения

Принцип сомнения требует допускать возможность ошибочности любой идеи. Однако сомнение не должно привести к неустойчивости хода мысли, слепому доверию авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.

4. самоанализ

Непрерывный анализ собственных выводов на предмет возможных ошибок из всего списка.

5. Независимые повторные вычисления

Сюда входит независимое вычисление разными людьми, а также сравнение прямых и непрямых оценок.

6. Косвенная оценка степени ошибки

Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космические корабли «Спейс Шаттл» были рассчитаны на одну аварию более чем на 1000 полётов, но первая авария произошла на 25-ом полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет эксплуатации (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже. Отсюда мы можем сделать вывод, что в случае уникальных сложных объектов люди недооценивают их риски в десятки раз.

Заключение. Перспективы предотвращения глобальных катастроф

Человечество вовсе не обречено на вымирание. И даже если наши шансы невелики, бесконечно большое будущее стоит того, чтобы за него бороться. Определённо позитивным фактом является то, что лёд тронулся – в 2000-е годы резко возросло число публикаций по проблематике глобальных катастроф общего характера и начало складываться единое понимание проблемы. Есть надежда, что в ближайшее десятилетия проблема глобальных рисков станет общепризнанной, а люди, впитавшие понимание важности этих проблем, окажутся во власти. Вероятно, это произойдёт не плавно, а после болезненных потрясений, вроде 11 сентября, каждое из которых повысит читаемость литературы о глобальных рисках и подхлестнёт дискуссию. Кроме того, можно надеяться, что усилия отдельных людей и групп обеспокоенных граждан будут способствовать реализации такой перспективной стратегии, как дифференциальное развитие технологий. А именно, развитие Дружественного ИИ будет происходить опережающими темпами, чем, например, загрузка сознания в компьютер, которое в результате обретёт огромные силы, но будет неконтролируемым. Также важно, чтобы мощный ИИ возник раньше, чем появятся сильные нанотехнологии – опять же с тем, чтобы мочь их контролировать.

Возможно, нам придётся смириться периодом избыточного и даже тоталитарного контроля над человеческой деятельностью в тот период, когда риск будет максимален, а понимание конкретных угроз – минимально. В этот период будет непонятно, какое именно знание является действительно знанием массового поражения, а какое – безобидной игрушкой.

Возможно, что нам просто повезёт и ни один риск не материализуется. С другой стороны, возможно, что нам повезёт меньше, и череда крупных катастроф отбросит цивилизацию в своём развитии далеко назад, однако человек сохранится и обретёт более мудрый подход к реализации технологических достижений. Возможно, что на этом пути нам предстоит трудный выбор: остаться навсегда на средневековом уровне, отказавшись от компьютеров и полётов к звёздам, или рискнуть и попытаться стать чем-то большим. Несмотря на весь риск, этот второй сценарий выглядит для меня более привлекательным, поскольку замкнутое на Земле человечество обречено рано или поздно на вымирание по естественным причинам.

Наблюдается также рост усилий по созданию убежищ разного рода: в Норвегии построено хранилище для семян на случай глобальной катастрофы. Хотя само такое хранилище не спасёт людей, похвален сам факт намерения вкладывать деньги и реальные ресурсы в проекты, отдача от которых возможна только через столетия. Активно обсуждается проект создания похожего убежища на Луне, которую даже называют «запасной диск для цивилизации». В этом убежище предполагается сохранить не только все знания людей, но и замороженные человеческие эмбрионы, в надежде на то, что кто-нибудь (инопланетяне?) восстановит потом по ним людей³³⁵.

Вместе с тем, в этой книге я пытался показать, что непродуманные действия по предотвращению катастроф могут быть не менее опасны, чем сами катастрофы. Следовательно, в настоящий момент основные усилия должны быть сосредоточены не на конкретных проектах, и даже не на пропаганде «зелёного» образа жизни, а на росте понимания природы возможных рисков, на формирование научного консенсуса о том, что на самом деле опасно и какие уровни риска приемлемы. При этом такая дискуссия не может быть бесконечно долгой, как в неких более абстрактных областях, так как тогда мы рискуем «проспать» реально надвигающуюся катастрофу. Это означает, что мы ограничены во времени.