
- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
arXiv:astro-ph/0512204v2
http://arxiv.org/pdf/astro-ph/0512204
How Unlikely is a Doomsday Catastrophe? Nature, Vol. 438, No. 7069, p. 754
Эта статья является расширенной версией краткого сообщения, опубликованного в Nature, 438, 754 [1].
В последнее время были проанализированы многочисленные сценарии уничтожения Земли, включая распад метастабильного вакуума и разрушение планеты, вызываемое «странной частицей» (strangelet) или микроскопической чёрной дырой. Мы хотим показать, что множество предыдущих оценок их частоты дают нам фальшивое чувство безопасности: нельзя выводить заключение, что такие события редки, из того факта, что Земля прожила настолько долго, поскольку наблюдатели находятся, по определению, в тех местах, которые были достаточно везучими, чтобы избежать разрушения. Мы выводим новую верхнюю границу в 1 на 10*9 лет (99.9% c.l. – с достоверностью) на частоту внешней (exogenous) окончательной (terminal) катастрофы. Эта граница свободна от систематической ошибки, связанной с селекцией наблюдателей. Для доказательства этого мы используем данные о распределения возрастов планет и о факте относительно позднего формирования Земли.
Введение
учёные недавно высветили ряд катастрофических сценариев, которые могут уничтожить не только нашу цивилизацию, но даже нашу планету или всю наблюдаемую вселенную, – как если бы нам, людям, больше не о чем было бы беспокоиться. Например, опасения, что столкновения тяжёлых ионов на ускорителе релятивистских тяжёлых ионов в Брукхавене (RHIC) могут запустить такой катастрофический процесс, привели к созданию детального технического отчёта на эту тему [2], в котором рассматривалось три категории рисков:
1. Расширение (Initiation) перехода в более низкое вакуумное состояние, которое будет распространяться от своего источника наружу со скоростью света, уничтожая известную нам вселенную [2, 3, 4].
2. Формирование чёрной дыры или гравитационной сингулярности, которая затягивает обычную материю, и возможно, уничтожает Землю. [2, 4].
3. Формирование стабильной странной материи, которая засасывает обычную материю и превращает её в странную материю, вероятно, уничтожая Землю [2, 5].
Другие сценарии катастроф ранжируются от бесспорных до весьма умозрительных:
4. Удары массивных астероидов, близкий взрыв сверхновой и/или гамма всплеск, теоретически могут стерилизовать Землю.
5. Аннигиляция враждебной расой роботов, колонизирующей пространство.
В отчёте, выполненном в Брукхавене [2], делается вывод, что если пункты 1-3 возможны, они с колоссальной вероятностью будут запущены не RHIC, а естественно происходящими высокоэнергетичеными астрофизическими событиями, такими, как столкновения космических лучей.
Все риски 1-5, вероятно, должны считаться внешними, то есть несвязанными с человеческой активностью и нашим уровнем технического развития. Цель это статьи – оценить вероятность (likelihood) за единицу времени внешних катастрофических сценариев вроде 1-5.
Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофические события должны быть исключительно редкими. К сожалению, этот аргумент несовершенен, и создаваемое им чувство безопасности – фальшиво. Он не принимает во внимание эффект избирательности наблюдения (observation selection effect) [6, 7], который не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда они сделали наблюдение. Даже если бы частота космических катастроф была бы очень велика, мы по-прежнему должны ожидать обнаружить себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить гипотезу, что в среднем космическое пространство вокруг стерилизуется распадом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы.
Мы предлагаем способ вывести верхнюю границу частоты космических катастроф, которая неподвержена такой селекции наблюдателей. Мы доказываем, что распределение возрастов планет и звёзд ограничивает частоту многих сценариев глобальной катастрофы, и что сценарии, которые выходят за пределы этой границы (особенно распад вакуума) в свою очередь ограничены относительно поздним временем формирования Земли. Идея состоит в том, что если бы катастрофы были очень часты, почти все разумные цивилизации возникли бы гораздо раньше, чем наша.
Используя информацию о темпах формирования планет, можно вычислить распределение дат рождений разумных видов при различных предположениях о частоте космических цивилизаций. Объединение этого с информацией о нашем собственном временном местоположении позволяет нам заключить, что частота космической стерилизации для обитаемой планеты не больше, чем порядка одного раза на Гигагод.
Рис.1: Слева: когда формируетя типичная планета? Справа: Насколько вероятно, что Земля сформируется так поздно.
На левом графике показано распределение вероятностей наблюдаемого времени формирования планет, в предположении разных характерных промежутков времени между катастрофами: от бесконечности (заштриховано) до 10, 9, 8, 7, 6, 5, 4, 3, 2 и 1 млрд. лет соответственно (справа налево). Правая часть графика показывает вероятность наблюдения некого времени формирования (больше или равно 9,1 млрд. лет для Земли) , то есть области справа от пунктирной линии на левой панели.
II. Верхняя граница частоты катастроф
Предположим, что планета случайным образом стерилизуется или уничтожается с некоторой частотой 1/T, которую мы сейчас определим. Это означает, что вероятность выживания планеты в течение времени t падает экспоненциально, как exp(- t/T)
Наиболее прямой путь избежать ошибки от эффекта избирательности наблюдения – это использовать только информацию об объектах, чьё уничтожение не повлияло бы на жизнь на Земле. Мы знаем, что ни одна планета в Солнечной системе от Меркурия до Нептуна не превратилась в чёрную дыру или сгусток странной материи, в течение последних 4,6 гигалет, поскольку их массы были бы по-прежнему заметны по их гравитационному влиянию на орбиты других планет. Это означает, что временная шкала разрушения должна быть соответственно большой, – кроме как в случаях, когда их уничтожение однозначно связанно с нашим, как по общей причине, так и по причине их взрыва, приводящего к разлёту частиц судного дня, вроде чёрных дыр или странных частиц, которые в свою очередь уничтожат Землю.
Эта лазейка в эффекте избирательности наблюдения сужается, если мы примем во внимание экзопланеты, которые мы наблюдали через их частичные затмения их родных звёзд [8] и потому знаем, что они не взорвались.
Частицы конца света, которые обсуждались в литературе, скорее, будут гравитационно захватываться звёздами, а не планетами, и по этой причине наблюдаемое изобилие очень старых звёзд (t больше или приблизительно равно 10 гигалет) (например, [9]) ещё больше уточнит нижнюю границу Т.
Единственный сценарий, который может воспользоваться оставшейся лазейкой систематической ошибки эффекта наблюдения (observer bias loophole) и избежать всех этих ограничений, – это распад вакуума, как спонтанный, так и запущенный неким высокоэнергетичным событием. Поскольку пузырь разрушения распространяется со скоростью света, мы не можем наблюдать разрушения других объектов: мы можем увидеть их разрушение только в тот момент, когда разрушаемся сами. В противовес этому, если сценарии 2 или 3 включают в себя излучение «частиц судного дня» и распространяется, как цепная реакция, медленнее скорости света, мы можем наблюдать сферические чёрные области, создаваемые расширяющимися фронтами разрушения, которые ещё не достигли нас.
Сейчас мы покажем, что временной масштаб вакуумного распада может быть ограничен другим аргументом. Темп формирования f(t) обитаемых планет как функция времени с момента Большого Взрыва показан на рис.1 (левая сторона, затенённое распределение). Эта оценка взята из [10], и основана на симуляциях, включающих создание тяжёлых элементов, взрывы сверхновых и гамма всплески. Если области пространства стерилизуются или разрушаются случайным образом с частотой 1/T, то вероятность того, что случайным образом взятая пространственная область останется неповрежденной, составляет exp(- t/T). Это означает, что распределение условной вероятности (conditional probability) f*(t) для времени формирования планет t с точки зрения наблюдателя – это просто затененное распределение f(t) умноженное на exp(- t/T) и отмасштабированное таким образом, чтобы давать в интеграле единицу. Оно отображено дополнительными кривыми на рис.1 слева1. (сноска 1). По мере того, как мы уменьшаем временной параметр (timescale) катастроф T, пик результатирующего распределения (левый график) сдвигается влево и вероятность того, что Земля сформировалась так поздно, как мы это наблюдаем (9,1 гигалет после Большого взрыва) или позже, падает (правая часть рисунка).
Пунктирные линии показывают, что мы можем исключить гипотезы, что T < 2.5 гигалет с 95% уверенностью, и соответствующие 99% и 99,9% интервалы уверенности составляют T> 1,6 и T> 1,1 Гигалет соответственно.
Риски 4-ой категории уникальны тем, что у нас есть хорошие прямые измерения частоты столкновений, взрывов суперновых и гамма всплесков, которые не зависят от эффектов избирательности наблюдения. До сих пор наш анализ использовал статистику обитаемых планет из [10], которая включала в себя (folded in) эти измерения из категории 4.
Наши границы неприменимы в целом к катастрофам антропогенного происхождения, которые стали возможны только после того, как были развиты определённые технологии, например, ядерное уничтожение или истребление с помощью сконструированных микроорганизмов или нанотехнологии. Они так же не относятся к природным катастрофам, которые не смогут необратимо разрушить или стерилизовать планету. Другими словами, у нас до сих пор есть множество поводов для беспокойства [11, 12, 13, 14]. Вместо этого наши границы относятся к внешним катастрофам (спонтанным или вызванным космическими лучами), частота которых не связанна с человеческой активностью, при условии, что они вызывают необратимую стерилизацию.
Наши численные вычисления базируются на ряде предположений. Например, мы полагаем частоту экзогенных катастроф 1/T в качестве константы, хотя нетрудно предположить, что она изменяется в пределах 10% в порядке соответствующей временной шкалы, поскольку сама наша граница T имеет порядок 10% от возраста Вселенной1 .
Во-вторых, частота формирования обитаемых планет опирается на несколько предположений, детально обсуждаемых в [10], которые могут легко изменить результат в пределах 20%. В-третьих, риск событий, вызванных космическими лучами, будет слегка меняться от места к месту, если так же будут меняться сами космические лучи. В-четвёртых, из-за космологических флюктуаций массы, разброс масс будет отличаться на 10% от одного региона размером порядка 10**9 световых лет к другому, так что риск того, что космические лучи вызовут распад вакуума, может варьироваться в том же порядке.
В целом, хотя более детальные вычисления могут изменить количественные границы на множитель порядка единицы, наш основной результат, состоящий в том, что вероятность внешнего уничтожения невелика на человеческой и даже геологической шкале, выглядит весьма надёжным.
III. ЗАКЛЮЧЕНИЕ
Мы показали, что жизнь на Земле очень вряд ли будет уничтожена внешней катастрофой в ближайшие 1 млрд. лет. Это численное ограничение получается из сценария, на который мы имеем наиболее слабые ограничения: распад вакуума, ограниченный только относительно поздним формированием Земли. Этот вывод переносится так же и на ограничения на гипотетические антропогенные катастрофы, вызванные высокоэнергетичными физическими экспериментами (риски 1-3). Это следует из того, что частотность внешних катастроф, например, происходящих из столкновений космических лучей, устанавливает верхнюю границу на частоту своих антропогенных аналогов. В силу этого наш результат закрывает логическую брешь ошибки селективности наблюдения и даёт заверения, что риск глобальной катастрофы, вызванной опытами на ускорителях, чрезвычайно мал, до тех пор, пока события, эквивалентные тем, что происходят в экспериментах, случаются чаще в естественных условиях. А именно, Брукхавенский отчёт [2] предполагает, что глобальные катастрофы могут происходить гораздо более чем в 1000 раз чаще в естественных условиях, чем на ускорителях. Предполагая, что это так, наше ограничение в 1 млрд. лет переходит в консервативную верхнюю границу 10**(-12) годового риска от ускорителей, что обнадёживающе мало.
4. Благодарности:
Авторы благодарны Adrian Kent, Jordi Miralda-Escude и Frank Zimmermann за обнаружение брешей в первой версии этой статьи, авторам [10] за пользование их данными и Milan Circovic, Hunter Monroe, John Leslie, Rainer Plaga и Martin Rees за полезные комментарии и дискуссии. Спасибо Paul Davies, Charles Harper, Andrei Linde и Фонду John Templeton Foundation за организацию семинара, на котором это исследование было начато. Эта работа была поддержана NASA grant NAG5-11099, NSF CAREER grant AST-0134999, и стипендиями от David и Lucile Packard Foundation и Research Corporation.
Литература:
[1] M. Tegmark and N. Bostrom, Nature, 438, 754 (2005)
[2] R. L. Jaffe, W. Busza, Sandweiss J, and F. Wilczek,
Rev.Mod.Phys., 72, 1125 (2000)
[3] P. Frampton, Phys. Rev. Lett., 37, 1378 (1976)
[4] P. Hut and M. J. Rees 1983, “How Stable Is Our Vac-
uum?”, Nature, 302, 508 P. Hut 1984, Nucl.Phys. A,
418, 301C
[5] A. Dar, A. De Rujula, and U. Heinz, Phys.Lett. B, 470,
142 (1999)
[6] B. Carter 1974, in IAU Symposium 63, ed. M. S. Longair
(Reidel: Dordrecht)
[7] N. Bostrom, Anthropic Bias: Observation Selection Ef-
fects in Science and Philosophy (Routledge: New York,
2002)
[8] F. Pont, astro-ph/0510846, 2005
[9] B. M. S Hansen et al., ApJ, 574, L155 (2002)
[10] C. H. Lineweaver, Y. Fenner, and B. K. Gibson, Science,
203, 59 (2004)
[11] J. Leslie, The End of the World: The Science and Ethics
of Human Extinction (Routledge: London, 1996)
[12] N. Bostrom, Journal of Evolution and Technology, 9, 1
(2002)
[13] M. J. Rees, Our Final Hour: How Terror, Error, and
Environmental Disaster Threaten Humankind’s Future in
This Century — On Earth and Beyond (Perseus: New
York, 2003)
[14] R. Posner, Catastrophe: Risk and Response (Oxford
Univ. Press: Oxford, 2004)