- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Введение: угрозы существованию и эффекты наблюдательной селекции
Человечество стоит перед рядом глобальных угроз, расположенных как в близком, так и далёком будущем. Для любого человека, заинтересованного в будущем нашего биологического вида, эти угрозы представляют теоретический интерес; они также напрямую связаны с принимаемыми сейчас прикладными и стратегическими решениями. Общее понимание возможных глобальных катастроф возросло благодаря последним открытиям в геохимии, эволюции человека, астрофизики и молекулярной биологии [1-6]. Это исследование рассматривает подмножество катастроф, называемых угрозами существованию (existential risks -УС), которые могут привести либо к уничтожению разумной жизни на Земле, либо навсегда и значительно ограничат её потенциал [7]. В качестве примеров УС можно взять тотальную ядерную войну, столкновении 10-км (или большего) астероида или кометы с Землёй, международное или случайное злоупотребление био- или нано технологий, или неограниченно растущее глобальное потепление.
Существует множество таксономий УС [7]. Таксономия, основанная на причинных факторах, нам подходит больше всего. Мы различаем: (1) естественные УС (столкновения с астероидами и кометами, супервулканизм, неантропогенные изменения климата, взрывы сверхновых звёзд, гамма-всплески, случайный фазовый переход вакуума); (2) антропогенные УС (ядерная война, биологические катастрофы, искусственный интеллект, нанотехнологические риски); (3) промежуточные УС, вызываемые взаимодействием человечества и природы (новые болезни, неограниченно растущее глобальное потепление). Далее, мы в основном рассматриваем естественные УС [8].
Целью данной статьи является исследование эффектов наблюдательной селекции, влияющих на оценку вероятности некоторых УС и способных привнести антропное искажение в анализ рисков1. Антропное искажение может быть объяснена через форму искажение в выборке примеров, при которой выбирается подмножество примеров, локально связанных с наблюдателем, вместо множества событий, полностью охватывающего предметную область. Мы показываем, что эффект наблюдательной селекции делает ненадёжными оценки вероятности некоторых прошлых УС. Мы утверждаем, что антропное искажение может привести к недооценке вероятностей ряда глобальных катастроф.
Мы расписываем простую «карманную» модель этих эффектов во второй части статьи, тогда как её обобщение находится в третьей части. Аргументация развивается в четвёртой части, а в пятой мы рассматриваем актуальность антропного искажения для ряда УС. В последней, шестой части мы рассматриваем вопросы применения теории эффектов наблюдательной селекции к глобальным катастрофам.
«Карманная» модель антропного искажения1
Основой нашего подхода является Байесова формула расчета условной вероятности:
|
(1) |
где
является априорной вероятностью
истинности гипотезы
,
и
– условной вероятностью истинности
гипотезы
при свидетельстве
.
В качестве свидетельства мы будем
рассматривать сам факт нашего
существования. Факт нашего существования
требует для себя множество биологических,
химических и физических предпосылок.
В частности, наше существование
подразумевает, что цепочка земной
эволюции не была прервана глобальной
катастрофой. С этим условием связаны
некоторые неопределённости, часть из
которых мы должны обсудить далее.
Гипотезы B1, B2, …, Bn
обозначают произошедшие или не
произошедшие катастрофы определённого
типа, случившиеся за определённый
промежуток времени; примерами подобных
гипотез являются: «Произошло не менее
пяти случаев столкновений Земли с
астероидами или кометами величиной от
10 до 20 км за последние
лет», или: «За промежуток от
до
до настоящего момента и не ближе чем 10
парсек до Солнца, не происходило ни
одного взрыва сверхновой звезды».
Рассмотрим простейший пример: исключительно
разрушительную и единичную глобальную
катастрофу, – под эти условия подходит
извержение супервулкана Тоба [9].
Свидетельство, которое мы хотим учесть
с помощью Байесового подхода, – это
факт нашего существования в настоящую
эпоху. На Рис. 1 мы схематично отобразили
эту ситуацию: P – априорная вероятность
некой глобальной катастрофы, Q –
вероятность выживания человечества
после этой катастрофы. Мы должны
предположить, что эти две вероятности:
(1) являются константами, (2) должным
образом нормализованы и (3) относятся к
определённому интервалу в прошлом.
Событие
обозначает , что катастрофа происходит,
а событие
– что катастрофа не происходит, под E
мы обозначаем информацию о нашем
собственном существовании.
Рис. 1. Схематичное изображение нашей карманной модели единичного катастрофического события. P – это априорная вероятность глобальной катастрофы, Q – вероятность выживания человечества, E – факт нашего существования в настоящий момент.
Для этого примера Байесова формула принимает вид:
|
(2) |
Что даёт значение постериорной вероятности:
|
(3) |
Мы можем определить коэффициент самоуверенности:
|
(4) |
|
|
что в данном случае приводит к:
|
(5) |
|
|
Чем больше становится η (начиная с
единицы), тем наши умозаключения о
прошлом становятся всё более ненадежными,
и мы недооцениваем вероятность будущих
катастроф. Например, возьмём Q=0.1 и
P=0.5 (или произойдёт, или не произойдёт
с равной вероятностью), для событий,
сравнимых по размеру с извержением
Тоба; также примем, что во время
человеческой эволюции эти события
случаются один раз в миллион
лет
с вероятностью выживания человечества
при каждом из них равной 0.1. С этими
условиями коэффициент самоуверенности
,
что означает – реальная вероятность
превышает нашу первоначальную оценку
в 5.5 раз. Значения коэффициента
самоуверенности, в виде функции тяжести
последствий (при вероятности вымирания
1–Q), показаны на Рис. 2.
Также учтите,
|
(6) |
Рис. 2. Коэффициент самоуверенности в качестве функции от вероятности вымирания 1–Q в нашей карманной модели единичного события. К различным значениям вероятности P применено цветовое кодирование (цвета различимы в электронной версии). Мы заметили, что искажение от самоуверенности выше всего для маловероятных событий.
Коэффициент самоуверенности становится очень большим для чрезвычайно разрушительных событий. В результате, мы не должны быть уверены в исторических оценках вероятности событий, приводящих к безусловному вымиранию человечества (Q=0). Пусть этот вывод и выглядит очевидным, широкого признания он не получил. Например, широко известная аргументация Хата и Риса (Hut and Rees), работающих с гипотетическим риском квантовой неустойчивости вакуума в экспериментах физики высоких энергий, не учитывает влияния антропного искажения, из-за чего частично вводит в заблуждение [10].
Эти рассуждения также применимы к исключительно редким, но, тем не менее, возможным событиям, примером которых являются странные астрономические инциденты, способные сорвать Землю с орбиты и превратить в межзвёздную планету (см. Лаглин и Адамс (Laughlin and Adams), оценивающих вероятность подобного события на оставшееся время существования Солнечной системы [11]). Выводы о чрезвычайной малой вероятности прохождения Солнечной системы неподалёку от другой звёздной системы, нейтронной звезды или чёрной дыры, а значит и чрезвычайно малых рисков этого события, не могут быть получены только из прошлого нашей планетарной системы. Принятие дополнительной информации, основанной на понимании окружения Солнечной системы в пространстве Млечного Пути и характеристиках масс звёздных объектов, позволяет нам заключить, что по отношению к этим рискам мы находимся в безопасности, а не непредвзяты и убедительны. С другой стороны, не для всех возможных угроз собрано достаточное количество дополнительной информации.

,