19.7. Системный кризис и технологические риски

Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня. Иначе можно сказать так:

Малый системный кризис – вовлекает только политику, ресурсы и экономику.

Малый системный технологический кризис – вовлекает развитие одних технологий из других и сложные технологические катастрофы.

Большой системный кризис – в нём оба малых кризиса являются только его частями, плюс взаимодействие составляющих элементов друг с другом. Пример такого кризиса: Вторая мировая война.

19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы

Это утверждение опирается на следующие посылки, которые мы по отдельности обсудили в предыдущих главах.

А) Большинство крупных технологических катастроф, начиная с катастрофы «Титаника», носили системный характер, то есть не имели какой-то одной причины, а возникали как проявления сложности системы в виде маловероятного непредсказуемого стечения обстоятельств с разных планов: проектирования, управления, систематических нарушений инструкций, интеллектуальной слепоты и сверхуверенности, технических отказов и маловероятных стечений обстоятельств.

Б) За счёт NBIC конвергенции и за счёт одновременности исчерпания взаимозаменяемых ресурсов мы получаем тот эффект, что все критические обстоятельства подтягиваются к одной дате, и дата эта – в районе 2030 года.

В) Обвал технологической цивилизации, начавшись даже с небольшой катастрофы, может принять форму устойчивого процесса, где одна катастрофа запускает другую, при этом в каждый момент времени силы разрушения превосходят сохранившиеся силы созидания. Это происходит по причине того, что раньше огромное количество сил разрушения сдерживалось, а затем они все одновременно высвободятся (исчерпание ресурсов, заражение среды опасными биоагентами, глобальное потепление). Эта способность одной катастрофы запускать другую связана с высокой концентрацией разных потенциально смертельных для человечества технологий – подобном тому, как где бы ни начался пожар на корабле, где очень много пороха, в конечном счёте взорвётся весь корабль. Другая метафора – если человек убегает от лавины, он должен бежать со всё большей скоростью, и всё меньшая задержка требуется, чтобы он попал от под всё большей силы лавину. Третья метафора – перекристаллизация некого вещества с несколькими фазовыми состояниями в районе фазового перехода. Эта метафора означает быструю и принципиальную перестройку всей цивилизации, связанную с возникновением мощного ИИ.

Г) По мере нарастания сложности нашей цивилизации нарастает вероятность внезапных непредсказуемых переходов в иное состояние (в духе «теории хаоса»), и одновременно нарастает наша неспособность предсказывать своё будущее и предвидеть последствия своих действий.