- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Введение
- •Типология рисков
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
В этом разделе я предлагаю довольно спекулятивное и предварительное рассуждение, которое не изменяет основных выводов статьи, однако стремится их подтвердить, показав, что теория «редкой Земли» верна, и звёзды с обитаемыми планетами встречаются в видимой вселенной крайне редко, что в частности, может означать высокий уровень катастрофизма, который нами недооценивается. (См. также на эту тему Милан Чикрович. «Эволюционные катастрофы и проблема точной настройки параметров пригодной для жизни планеты. (Проблема Голдилокс)»
http://www.scribd.com/doc/8527974/-)
Основная мысль этой главы: если наша вселенная является крайне редкой среди всех возможных вселенных, то и наша планета является крайне редкой среди всех планет в нашей вселенной, и эти величины по порядку совпадают.
Исследователи антропного принципа обнаружили, что физические константы нашей Вселенной подобраны таким образом, что для этого потребовалось бы 1015 попыток, чтобы случайно создать такую вселенную. С шансами 10500 к 1 это означает, что такое количество вселенных с разными свойствами существует актуально (по теореме Байеса для двух гипотез). Из этого количества только некая очень малая доля типов Вселенных годится для возникновения разумной жизни. Обозначим X – долю всех пригодных для жизни и разума вселенных (равную, допустим, 1050). Будем считать подходящими все вселенные, в которых есть разумное существо, способное задаться вопросом об антропном принципе (хотя тут есть ряд тонких моментов, связанных с тем, что именно означает «понимание»).
Среди всего этого множества есть такие вселенные, которые годятся для возникновения двух (или более) принципиально разных видов жизни и разума, например, основанных на углероде, и основанных на магнитных полях в коронах звёзд. Понятно, что такие «мультижизненные» вселенные требуют гораздо более тонкого подбора параметров (если вообще возможны). Следовательно, доля мультижизненных вселенных меньше доли вселенных с одним типом возможной жизни примерно во столько же раз, во сколько само Х меньше числа всех возможных вселенных. То есть на несколько десятков порядков. Отсюда мы можем заключить, что любая разумная жизнь в нашей вселенной начнётся с живой материи, основанной на углероде, с вероятность 100…000 к 1. То есть можно не рассчитывать встретить разумные звёзды, существ на фторе и т д.
Более интересен следующий вопрос. Если считать, что каждая звезда – это попытка создания планеты с жизнью, то сколько в среднем неудачных попыток приходится на одну удачную, иначе говоря, как часто разумная жизнь распространена в нашей Вселенной? Можно предположить, что среди всех 10500 вселенных есть вселенные, где у каждой звезды возникает разум, есть те, у которых у каждой из 10 звёзд, из 100, из 10100 и так далее. Вопрос в том, где вероятнее себя обнаружит наблюдатель – во вселенной с большой плотностью наблюдателей или с малой. В этих рассуждениях мы пользуемся так называемым Предположением о собственном местоположении (Self-sampling assumption), которое состоит в том, что каждый наблюдатель должен считать себя случайным представителем своего класса наблюдателей. (Подробнее об этом см. в работах Бострома.)
С одной стороны, кажется разумным обнаружить себя во вселенной с большой плотностью наблюдателей, так же, как я сейчас себя обнаруживаю в городе, а не на Северном полюсе. С другой стороны, доля вселенных с малой плотностью наблюдателей может быть гораздо-гораздо больше, чем доля вселенных с высокой плотностью наблюдателей.
Предположим, что каждая вселенная определяется 100 параметрами, вроде массы электрона, размерности и т д. Тогда каждую вселенную можно обозначить точкой в фазовом пространстве. Тогда мы получим область, в центре которой находятся абсолютно пригодные для жизни вселенные, в которых плотность наблюдателей максимальна, а по краям – частично пригодные, в которых наблюдатели возникают только после большого числа попыток внутреннего характера, иначе говоря, только у малого числа звёзд.
Кроме того, будет в этой области две зоны вселенных – те, в которых число звёзд мало, и те, в которых оно велико. Можно смело отбросить все те вселенные, в которых число звёзд мало, так как они перекрываются по вкладу вселенными, в которых число звёзд велико. И действительно, в наблюдаемой нами вселенной число звёзд может быть неограниченно велико за счёт процесса космологической инфляции.
Теперь сравним центральную в нашем фазовом пространстве область оптимума, где у всех звёзд есть планеты с разумом, и окружающую её область «почти подходящих» вселенных. Если считать, что радиус области оптимума R, а области почти подходящих вселенных 2R, то разница их объёмов будет 2100 раз – примерно равно 1030. Иначе говоря, число вселенных, в которых планеты со звёздами разбросаны редко, очень много раз больше числа вселенных с плотным расположением планет с разумом. (Точно также можно сравнить множество людей с абсолютно исправном геномом со множеством людей, у которых в генах есть некоторые незначительные ошибки – последнее будет гораздо больше, хотя средняя продолжительность жизни у людей из него будет немного меньше.)
Для того чтобы число наблюдателей в области 2R было бы больше, чем в области R, необходимо, чтобы наблюдатели там встречались чаще, чем у одной из 1030. звёзд. Наоборот, область 3R, где наблюдатели встречаются значительно реже, чем 1 к 1030 звёзд, можно смело выкинуть из рассмотрения, так как там находится наименьшая доля наблюдателей. Отсюда можно сделать вывод, что разумная жизнь в нашей вселенной возникает, не менее чем у одной из 1030 звёзд. Эта величина гораздо больше числа звёзд в видимой вселенной, равного примерно 1023. Однако это только минимальная оценка, которая ничего не говорит нам о реальной плотности.
Однако эту же величину можно выбрать и в качестве самого значения ожидаемой плотности цивилизаций, если рассмотреть слой в рассматриваемой нами сферической области фазового пространства вселенных с толщиной, соответствующей концентрации цивилизаций в 1 к 1030. Этот слой будет многократно превосходить по количеству цивилизаций как внутреннюю область сферы, так и внешнюю.
Пример: В центре Солнца его плотность в 100 раз больше, чем средняя плотность Солнца, однако на центр Солнца приходится только 1% его массы. Большая часть массы Солнца находится не в его центре, и не в его атмосфере, а в его среднем слое.
Второй пример: Человек возник на Земле не мгновенно, а путём долгого отбора из разных форм. Чтобы я мог писать эти строки, триллионы триллион живых существ должны были отсеяться. То есть я являюсь одним из 1020 существ, которые не стали разумными. Точно также и Солнце является одной на 1020 -1030 звёзд, у которой развилась разумная жизнь в этой Вселенной, а остальные отселись.
Вывод: то, что наша вселенная является одной 10500 возможных, и определяется 100 основными параметрами, означает, что и внутри вселенной число попыток создать разумную жизнь (то есть число звёзд) имеет такой же порядок величины. Следовательно, внутри видимой нами вселенной других цивилизаций нет. А если они и есть, то базируются на тех же фундаментальных принципах.
Зная среднюю плотность возникновения разумных цивилизаций, оцененную примерно здесь в 1 на 1025 = 275 и возраст Вселенной (13 млрд лет) можно оценить время уменьшения вдвое числа звёзд, подходящих для возникновения разумной жизни. Он бы составило около 200 млн. лет. Это означает, что космические условия будут подходить для земного существования ещё примерно 200 млн. лет (эта оценка совпадает с минимальным ожидаемым временем закипания океанов от солнца). Это означает, что если у нас есть некий промежуток времени (те же 200 млн. лет), то вероятность оказаться в конце его в тысячи раз больше, чем в начале.
Рассуждения Бострома о том, что вселенские катастрофы редки, базируется на посылке, что Земля могла бы возникнуть гораздо раньше. Она трудно проверяема, потому что мы не знаем всех факторов. Но в отношении вероятности геологических катастроф встаёт аналогичный вопрос о том, могла ли жизнь на Земле развиться значительно быстрее?
Однако эти вычисления сделаны в предположении, что время «созревания» от возникновения жизни до возникновения разума, способного понять антропный принцип, одинаково для всех возможных цивилизаций, что, конечно, неверно. Скорее, это время описывается некой кривой в форме колокола (нормальным распределением) относительно среднего времени. Особенность его в том, что края колокола убывают и возрастают крайне быстро. То есть по краям колокола период удвоения (dx, за который функция удваивается) быстро уменьшается. А именно, для нормального распределения эта величина пропорциональна 1/ х.
Мы можем получить общее распределение для числа всех пригодных для разумной жизни планет, если умножим функцию числа подходящих звёзд exp (- x/0.1) (где x – время в миллиардах лет. А 0,1 – гипотетический период сокращения числа звёзд в е раз). На функцию нормального распределения времени, необходимого для возникновения цивилизации на совершенно устойчивой планете. Exp (- (x-10)**2). (Здесь мы произвольно взяли, что среднее время – 10 млрд. лет) Поскольку обе функции – экспоненты, мы объединяем их степени, и получаем новую экспоненту с квадартичной степенью, то есть тоже нормальное распределение, но сдвинутое влево и уменьшенное по высоте во много раз, а именно Exp (- (x-10)**2 – 10*х). максимум этой функции – при x=5. За следующий миллиард лет она падает в 2 раза, а затем всё быстрее. Это означает, что учёт распределения не выводит нас за пределы оценки времени расхождения – более ста миллионов лет.
С другой стороны, расхождение параметров среды обитания – это постепенный процесс. И если мы можем уже сейчас видеть некоторые признаки начала этого процесса, то до его завершения ещё далеко.
Далее, мы пока не учли в наших выкладках тот факт, что чем дольше период стабильности, тем сильнее последующая нестабильность. Например, по закону Гука мы знаем, что сила, необходимая для растяжения пружинки, растёт линейно, а энергия её – пропорционально квадрату растяжения. И эта энергия выделится, если пружинка порвётся. Следовательно, период, который был слишком спокойный в отношении природных катастроф, может закончиться очень большой катастрофой.
В истории Земли нам следует выделить те периоды, когда развитие происходило особенно быстро, не позволяя себя ни одной отсрочки – это именно те периоды, когда они не могло бы происходить медленно, так как иначе бы ему помешали катастрофы. Таких периодов я вижу два – это само зарождение жизни, и это последние 500 млн. лет, от возникновения многоклеточных животных и кембрийского взрыва.
