21.13 «Всё как-нибудь обойдётся»

Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на иррациональной концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.

Однако уже сегодня в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку не знаем, где искать, и поскольку риски могут актуализироваться быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.

Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Вероятность такого исхода событий невелика.

21.14 Деградация цивилизации до уровня устойчивого состояния

Некоторые надеются, что угрозы глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф в той или иной степени деградирует. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует в направлении к ещё более примитивным формам и вымрет.

21.15 Предотвращение одной катастрофы с помощью другой

Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:

1.Ядерная война останавливает развитие технологий вообще.

2.Тотальный ИИ предотвращает биотерроризм.

3.Биотерроризм делает невозможным развитие ИИ

4.Ядерная зима предотвращает глобальное потепление.

Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, но малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде. Тем не менее, это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.

Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носила бы исключительно вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ.

Кроме того, любая большая авария (но меньшая отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь возникает определённый стереотип: ожидание повторения точно такого же риска.