1.6 Краткая история исследований вопроса

История современного научного изучения глобальных рисков ведёт отсчёт с 1945 года. Перед первыми испытаниями атомной бомбы в США возникли сомнения, не приведёт ли это испытание к цепной реакции термоядерного синтеза азота в атмосфере Земли. (Самоподдерживающееся химическое горение азота в кислороде невозможно, так как эта реакция эндотермическая, то есть идёт с поглощением энергии. Реакция ядерного синтеза двух ядер азота-14 требует наименьшей энергии, поэтому рассматривали именно азот, а не кислород.) Если бы азот загорелся, то реакция за несколько секунд охватила бы всю атмосферу Земли, что однозначно уничтожило бы всю биосферу, и от Земли бы остался только огарок. Даже если бы реакция охватила сферу в воздухе диаметром в 50 метров вокруг бомбы, то выход энергии был бы порядка гигатонны, и разрушения были бы по всей территории Соединённых Штатов.

Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA-602 «Риски поджигания атмосферы атомным взрывом» [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены – например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское расследование, к ходе которого выяснилось, что Комптон взял эти цифры «из головы», потому что посчитал их достаточно убедительными для президента – в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver,Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия).

Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2006]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни – если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня (“Doomsday machine”) – то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана «О термоядерной войне» [Khan 1960], в романе Н. Шюта «На берегу» [Shute 1957], в фильме С. Кубрика «Доктор Стрейнджлав».)

Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе «О первой сверхинтеллектуальной машине» [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади – позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман «Андромеда», в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе «Там, внизу, еще много места» [Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба – 1961 г., Новая Земля. Важную роль в осознании глобальных рисков играет научная фантастика, особенно творчество Станислава Лема, его роман «Непобедимый», футурологические исследования «сумма технологий», «Фантастика и футурология» и другие работы. Форестер публикует в 1960 году статью «Судный день: пятница, 13 ноября 2026 года. Дата, когда человеческая популяция достигнет бесконечности, если она будет расти с той же скоростью, как и последние два тысячлетия».

В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования.

В 1981 году вышла книга А. Азимова «Выбор катастроф» [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски.

В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument, DA – Теорема о конце света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст – 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни – 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens, то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли – и взять среднее не по времени, а по числу живших людей - то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA – крайне запутанная тема, и сейчас вышли десятки статей за и против него.

В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия – теория о «ядерной зиме». В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым.

В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях.

В 1986 году вышла книга Э. Дрекслера «Машины созидания» [Drexler 1986], посвящённая радикальным нанотехнологиям – то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый – это «серая слизь», то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск – это «нестабильная гонка вооружений». Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. «Нестабильность» этой гонки вооружений состоит в том, что в ней «начавший первым получает всё», и невозможно равновесие двух противоборствующих сил, как это было во времена Холодной войны.

В 1996 году выходит книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996]., которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии.

Одновременно во второй половине XX века происходит развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Следует отметить работы Пригожина, Ханзена и российских авторов С. П. Курдюмова, Г. Г. Малинецкого, А. П. Назаретяна и др. В рабтах Малинецкого показана принципиальная неусточивость сложных систем, даётся теория режимов с обострениями и применяется к будущей истории человечества. А.П. Назаретян создаёт гипотезу «техно-гуманитрного баланса» и показывает, что нарушение этого баланса может привести к тому, что средства разрушения превзойдут запреты на их использование, что может привести к гибели человечества. А.Д. Панов исследует сингулярную точку эволюции в районе 2030 года, в которой «автомодельной аттрактор планетртной истории» перестаёт работать.

С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на суше – больше CO2 будет выделяться в атмосферу; нагреются океаны – упадёт растворимость CO2, и опять он будет выделяться в атмосферу, начнут образовываться бескислородные области в океане – там будет выделяться метан. Событием последних дней стало обнаружение в сентябре 2008 года пузырьков метана, выделяющихся столбами со дна Ледовитого океана. Наконец, водяной пар тоже является парниковым газом, и с ростом температур его концентрация тоже будет расти. В результате этого температура может вырасти на десятки градусов, произойдёт парниковая катастрофа, и всё живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.

В конце XX – начале XXI века выходят статьи с описанием принципиально новых рисков, осознание которых стало возможно благодаря творческому анализу возможностей новых технологий. Это работы Р.Фрайтаса «Проблема серой слизи» (2001), Р. Кэрригена «Следует ли обеззараживать сигналы SETI» (2006), книги «Doomsday men» (2007) П.Д. Смита и «Случайная ядерная война» (1993) Брюса Блера. Ещё один новоизобретённый риск – это искусственное пробуждение сверхвулкана с помощью сверхглубокого бурения. Есть проекты автономных зондов, которые смогут проникнуть в недра Земли на глубину до 1000 км, проплавляя вещество мантии [Stivenson 2003], [Circovic 2004].

В 1993 году В. Виндж [Vince 1993] выдвинул идею Технологической Сингулярности – гипотетического момента в будущем, когда интеллект компьютеров превзойдёт человеческий. Он предполагает, что это событие произойдёт до 2030 года. Сверхчеловеческий ИИ крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Е. Юдковски написал несколько работ о проблемах безопасности ИИ [Yudkowsky 2007] – в первую очередь, большой труд «Создание дружественного ИИ» (Creating friendly AI). В 2006 году она написал две статьи на которые мы часто ссылаемся в этой книге: «Систематические ошибки в рассуждениях, влияющие на оценку рисков» и «Искусственный интеллект как позитивный и негативный фактор глобального риска».

В 2000 году в журнале Wired вышла нашумевшая статья одного из основателей Sun Microsystems Билл Джоя «Почему мы не нужны будущему». В ней он рисует крайне пессимистическую картину будущего цивилизации, в котором человек будет вытеснен роботами. Человеку в лучшем случае грозит учесть домашнего животного в мире, где всё за него решают машины. Развитие технологий позволит создать «знания массового поражения».

В 2003 году вышла книга английского королевского астронома сэра Мартина Риса «Наш последний час». Она гораздо меньше по объёму, чем книга Лесли, и не содержит приницпиально новой информации, однако обращена к самой широкой аудитории и разошлась большим тиражом. В 2004 году выходит обстоятельная книга американского судьи и учёного Ричарда Познера «Катастрофа: риск и реакция», особенностью которой является попытка дать экономический анализ рисков глобальной катастрофы и цены усилий по ее предотвращению (на примере усилий по отклонению астероидов и ценности экспериментов на ускорителях).

В XXI веке основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Здесь следует особо отметить работы Бострома и Юдковски.

В 2008 году несколько событий усилили интерес к рискам глобальной катастрофы: это намечавшийся (но так пока полностью и не состоявшийся) запуск коллайдера, вертикальный скачок цен на нефть, выделение метана в Арктике, война с Грузией и мировой финансовый кризис. Научно обоснованное понимание того, что мы живём в хрупком мире, который рано или поздно разрушится, стало общественным достоянием.

В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. В 2008 году состоялась конференция в Оксфорде «Риски глобальной катастрофы», и по ее материалам был издан сборник трудов с тем же названием под редакцией Н. Бострома и М. Чирковича. В него вошли более 20 статей различных авторов. В нём опубликована статья М. Чирковича о роли наблюдательной селекции в оценке частоты будущих катастроф, однако он приходит в ней к другим выводам, чем я в статье на аналогичную тему, а именно, что невозможно сделать никаких выводов о будущей частоте катастрофы, исходя из прошлой частоты – тогда как я полагаю, что мы, скорее всего, недооцениваем будущую частоту катастроф. В этом сборнике изданы и две выше названные статьи Юдковски, припринты которых были выложены в Интернете ещё в 2006 году. Арнон Дар разбирает риски сверхновых и гамма-всплесков, а также показывает, что особая угроза Земле исходит от космических лучей, создаваемых галактичесими гамма-всплесками. Уильям Нейпер в статье про угрозы комет и астероидов показал, что, возможно, мы живём в период интесивной кометной бомбардировки, когда частота импактов в 100 раз выше средней. Майкл Рампино дал обзор рисков катастроф, связанных с супервулканами. Все эти статьи переведы мною на русский язык. Также в сборнике разобраны риски ядерной войны, ядерного терроризма, эпидемий, биологического оружия, нанотехнологий и другие вопросы.

В 2008 году в Москве выходит популярная версия этой книги: А.В. Турчин «Война и ещё 25 сценариев конца света». Исходной название этой популярной версии было «Гносеология катастроф», и основаная ее тема - это то, что конец света знания – это и есть конец света.

В начале XXI века возникают общественные организации, пропагандирующие защиту от глобальных рисков, например, Lifeboat Foundation и CRN (Centre for Responsible Nanotechnology), снимается фильм Technocalyps. Исследование вопроса в современной России. Это исследование А. П. Назаретяна (2001) «Цивилизационные кризисы в контексте Универсальной истории»²². Вышла книга Е.А. Абрамяна «Судьба цивилизации»²³ (2006), открылся Интернет-проект А.Кононова о неуничтожимости цивилизации²⁴. А.В. Карнаухов проводит исследования рисков парниковой катастрофы²⁵. Вышли статьи отдельных авторов по разным гипотетоическим рискам, в том числе Э.М.Дробышевского, В.Ф. Анисичкина и др. Я выполнил переводы многих упомянутых здесь статей, которые доступны в Интернете, а часть из них публикуется в сборнике «Диалоги о будущем»²⁶. В сборнике ИСА РАН в 2007 г. вышли две мои статьи о глобальных рисках: «О возможных причинах недооценки рисков гибели человеческой цивилизации» и «Природные катастрофы и антропный принцип».

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, –затем осознание ещё нескольких глобальных рисков, – затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы. И затем –исследование границ человеческого мышления о глобальных рисках с целью создания методологии, то есть способа эффективно находить и оценивать глобальные риски.