19.16. Деградация биосферы

В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения биологических систем на земле, так и особенно среды обитания, люди уже никогда не смогут вернуться на доисторический уровень существования. (Если, конечно, они не воспользуются биологическими сверхтехнологиями.) Обычные охота и земледелие станут невозможными – останется только выращивание всех необходимых продуктов в герметичных парниках. И если вымерших животных можно восстановить, просто выпустив «каждой твари по паре», то также просто восстановить почву и воздух не получится. И хотя кислорода, накопленного в атмосфере, хватит ещё на тысячелетия сжигания топлива, то утилизировать углекислый газ в случае уничтожения биосферы будет уже не кому, что усилит шансы необратимого глобального потепления.

Из сказанного можно сделать вывод, что чем сильнее повреждена среда обитания, тем выше минимальный технологический уровень, на котором может выживать человечество.

19.17. Глобальная дезинфекция

Распространение опасных биологических форм может привести к полному заражению ими биосферы. В этом случае возможны такие варианты:

А) Людям придётся укрыться в защищённых изолированных убежищах. Однако всегда будет оставаться угроза заноса опасных биологических агентов снаружи.

Б) Биологическая борьба с опасными агентами: распыление антибиотиков, антивирусов.

В) Создание искусственной иммунной системы всей Земли. Но это возможно только после предварительной «зачистки» и сопряжено с новыми угрозами, связанными с риском «автоиммунных реакций».

Г) Тотальная стерилизация живой природы. В этом случае людям придётся полностью уничтожить живую природу, чтобы вместе с ней уничтожить укоренившиеся в ней опасные организмы. Это означает, что люди уже не смогут вернуться назад, к естественному образу жизни. Однако после стерилизации возможно повторное заселение земли живыми существами из «зоопарков». Сам момент глобальной стерилизации опасен для человечества, так как подразумевает высвобождение универсального, убивающего всё живое агента, например, радиоактивного вещества или излучения.

19.18. «Раскачивающее» управление

Эффект обнаружен пионером кибернетики фон Нейманом. Он проявляется в дрожании рук больных паркинсонизмом, в управлении самолетами и артиллерийской стрельбой. Суть его состоит в том, что управляющая система получает информацию о состоянии управляемого параметра с запаздыванием, и в результате управляющее воздействие не вычитается из параметра, а складывается с ним, приводя ко всё большим колебаниям. В отношении глобальных рисков и новых технологий это может проявляться в том, что понимание сути этих принципиально новых процессов будет отставать от развития самой проблемы, в силу чего попытки разрешить проблему будут только усиливать её.

19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска

Наше знание по-разному влияет на вероятность разных рисков. Можно выделить, «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться, – в отличие от рисков, к которым мы можем приготовиться достаточно легко и быстро. Подготовка к риску включает в себя следующие условия:

1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры против него. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)

2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может возникнуть риск.

3. В момент появления риска, мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем привести в жизнь в правильное время.

4. По мере развития ситуации, у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.

5. Мы обладаем таким количеством ресурсов, которое позволяет минимизировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.

Иначе говоря, контролируемый риск – этот риск, которым мы можем управлять, делая его произвольно малым.

С другой стороны, можно описать условия возникновения неконтролируемого риска:

1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а «следовательно», нулевой.

2. Это событие устроено так, что оно не имеет никаких предвестников, или они нам неизвестны.

3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимизировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.

4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает.

5. наших ресурсов не хватает для того, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.

Изложенная модель возникновения неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию возможности быстрого осознания опасности процесса если люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлый катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, исходя из неё, действуют. Тут не обойтись без нескольких примеров:

Пилоты уже упоминавшегося Боинга, вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и самолёт выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы «Титаник» столкнулся с айсбергом строго в лоб, а не по касательной, судно бы, как полагают, не потонуло.

В критических ситуациях людям очень трудно принимать решения, поскольку:

• Критичность этих ситуация для них неочевидно;

• Подобные ситуации не случались в их практике;

• Люди находятся под влиянием стресса (эмоций, страхов, нехватка времени) и под влиянием предрассудков;

• Располагают лишь неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки;

• Понимают то, что сказано в инструкциях, иначе, чем авторы инструкций.

Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание ситуации требует месяцев тщательного изучения. Тем не менее, всегда остаются неясности, возникают сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 % случаев аварии связаны с человеческим фактором, в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы глобального управления могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.

Чем малопонятнее новые технологии, тем менее они поддаются общественному контролю. Люди могут участвовать в опасных процессах и операциях, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в книге «Сумме технологий», где ИИ используется в качестве советника по управлению государством. Разумеется, все советы этого ИИ, которые кажутся вредными, отклоняются наблюдательным советом. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело спустя много лет и в результате сложных промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели сохранения баланса природных ресурсов, поставленной перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.

Дрекслер так описывает этот риск: «Некоторые авторы рассматривают приход законспирированных технократов к власти в мире практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными", потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она будет становиться все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии, не нуждающейся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения»²⁵⁰.