
- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Антропное искажение: недооценка естественных угроз
Учёные, анализирующие естественные угрозы, традиционно конструируют функции эмпирического распределения, используя свидетельства о событиях прошлого: геологические свидетельства о столкновениях с внеземными объектами, взрывах сверхновых и гамма-всплесков, или извержениях супервулканов. В Байесовом подходе мы можем использовать эти данные о распределении рисков в качестве функции апостериорного распределения.
Прогнозируя будущие события, мы заинтересованы в «реальных» распределениях шансов наступления событий (или их последствий), которые «предложены Природой» и не обязательно связаны с их апостериорными распределениями, зафиксированными или подразумеваемыми в архивных записях. Функция априорного распределения является основной объективной характеристикой системы. Так как априорное распределение не искажается эффектами выборочной селекции, оно играет ключевую роль в прогнозировании будущих событий. В Таблице I показана взаимосвязь между функциями априорного и апостериорного распределения для некоторых естественных катастроф. Только априорное распределение истинно описывает природу и может быть использовано для прогнозирования будущих событий. Последовательность умозаключений из прошлого в будущее для этих двух распределений показана в Рис. 6.
Тип события |
Априорное распределение |
Эмпирическое (апостериорное) распределение |
Столкновение |
Распределение Околоземных объектов и пересекающих орбиту Земли комет |
Распределение кратеров от столкновений, импактитов, и т.п. |
Супервулкан |
Распределение геофизических «горячих точек», производящих сверхизвержения |
Распределение кальдер, вулканической пыли, кернов льда и т.п. |
Взрыв сверхновой или гамма-всплеск (см. Приложение) |
Распределение исходных частиц и их движения в околосолнечном пространстве |
Следы геомагнитных аномалий, распределение звёздных остатков |
Таблица I. Примеры естественных угроз, могущих привести к глобальной катастрофе, и два типа функций распределения; только априорное распределение может служить истинным описанием природы и, соответственно, источником для предсказания будущих событий.
Рис. 6. Набросок общепринятой процедуры для предсказания будущих событий, исходя из информации о прошлом. Процедура может использоваться как для неопасных событий, так и угроз существования, но только для последних мы должны применять коррекцию, выделенную штрихованной линией. Данные выделенные шаги обычно не выполняются при стандартном анализе рисков; тем не менее, они необходимы для непредвзятых предсказаний величин естественных УС.
Катастрофы, превышающие некий порог тяжести последствий, уничтожают всех наблюдателей и все условия экологические условия для повторного возникновения наблюдателей, и таким образом, ненаблюдаемы. Некоторые типы катастроф могут уничтожить планетарные условия существования наблюдателей на временной интервал, длина которого может корелировать с силой катастрофы1. Это означает, что архивные записи содержат только часть событий, лежащих внутри «границ антропной совместимости» (см. Рис. 7) и не отображают всё пространство событий. Часть пространства параметров вовне этих границ, лежит в так называемой антропной тени: скрытый эффект наблюдательной селекции не позволяет нам распознавать величину близких нам экстремальных угроз (по временным и эволюционным причинам). Эта тень является источником ошибки, которая должна быть скорректирована, когда мы стремимся вывести объективное распределение шансов на основании эмпирического распределения прошлых событий.
Рис. 7. Схема антропного искажения: мы не показали всю плоскость графика время-тяжесть последствий, а только регион, совместимый с нашим существованием в данную конкретную эпоху (все остальное находится в «антропной тени» – теневом регионе, см. в тексте). Нынешняя эпоха отмечена t0, и мы отсчитываем время с момента формирования нашей планеты.
Антропная тень складывается с «классическим» эффектом селекции, применимым к любым типам событий (исчезновение следов старых событий из-за их эрозии или других видов увеличения естественной энтропии). Даже после коррекции классических эффектов селекции путём конструирования эмпирических (апостериорных) распределений, для получения правильной функции априорного распределения, необходима дополнительная коррекция, исправляющая антропное искажение.
Безусловно, схема на Рис. 7. значительно упрощена. Граница антропной совместимости не должна быть прямой линией, но мы сохранили обобщённую диагональную границу на диаграмме времени-тяжести последствий. На Рис.8. мы наблюдаем возможную иллюстрацию этого эффекта в эмпирических данных об образовании импактных кратеров на Земле. В качестве данных о последствиях столкновений, мы используем базу данных земных столкновений 2010 (Earth Impact Database) [14]. Несмотря на недостаточную информацию о возрасте многих кратеров, видно сходство по тренду с Рис. 7. Например, очевидным является то, что мы не сможем обнаружить следы 100 км астероида или кометы за последний миллион лет (или, несомненно, в течении всего Фанерозойского эона, см. Приложение). Означает ли это, что подобные события обладают вероятностью, стремящейся к нулю? Нет, это означает то, что подобные события находятся в запретной зоне, эмпирические данные из которой не могут быть наблюдаемы. Любое прямолинейное расширение функции эмпирического распределения в этот регион будет занижено при сравнении с объективным распределением вероятностей импакторов по размеру. Другими словами, гигантские астероиды могут существовать и представлять угрозу для будущего, но они не оставляют следов в прошлом наблюдателей1. Симметрия прошлого-будущего сломана антропными тенями.
Рис. 8. Эта диаграмма показывает размер известных кратеров как функцию от их возраста, используются данных база данных земных столкновений. Заметно отсутствие точек на верхней правой части диаграммы; единственных чётким следом, отражающем кратер Чиксулуб 65 Myr назад – подтверждённый случай глобальной катастрофы.