- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Введение
- •Типология рисков
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
Ник Бостром. Рассуждение о Конце Света для начинающих
http://www.anthropic-principle.com/primer1.html
...A Primer on the Doomsday argument....
Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооценивается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё большим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.
Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер (Brandon Carter) обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли (John Leslie), который был плодовитым авторам на эту тему и написал монографию «Конец мира» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.
Вот само Рассуждение о конце света. Я объясню его в три этапа.
Шаг 1
Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим снаружи, и оставшиеся 10 – красным. Каждого человека попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает всё это.)
Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по вашему, должен быть? Поскольку 90% из всех людей находятся в голубых боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в голубом боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).
Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном расположении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в среднем, 50% людей выиграют, и 50% проиграют. – Так что рациональной моделью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.
Шаг 2
Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написаны снаружи. Затем бросается монетка (может быть, Богом). Если выпадают орлы, один человек создаётся в каждом боксе. Если выпадают решки, люди создаются в боксах с номерами с 1 по 10.
Вы обнаруживаете себя в одном из боксов, и вам предлагается догадаться, имеется ли в боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как монетка выпала, и вы не имеете никакой другой значимой информации, кажется, что вам следует предполагать, что с 50% вероятностью выпали орлы ( и в силу этого имеется 100 человек)
Более того, вы можете использовать предположение о собственном расположении, чтобы определить условную вероятность (conditional probability) того, что на вашем боксе написан номер от 1 до 10, в зависимости от того, как выпала монетка. Например, при условии орлов вероятность того, что номер вашего бокса лежит между 1 и 10 составляет 1/10, поскольку в них будет находиться одна десятая людей. При условии решек вероятность того, что ваш номер лежит от 1 до 10 равна 1; в этом случае вам известно, что все находятся в этих боксах.
Предположим, что вы открываете дверь, и обнаруживаете, что вы находитесь в боксе 7. Затем вас снова спрашивают, как выпала монета? Но теперь вероятность того, что выпала решка, больше 50%. Поскольку то, что вы наблюдаете, даёт большую вероятность этой гипотезе, чем гипотезе, что выпали орлы. Точная новая вероятность выпадения решки может быть вычислена на основании теоремы Байса. Это примерно 91%. Таким образом, после обнаружения того, что вы находитесь в боксе номер 7, вам следует думать, что с вероятностью в 91% здесь находится только 10 людей.
Шаг 3
Последний шаг состоит в переносе этих результатов на нашу текущую ситуацию здесь, на Земле. Давайте сформулируем две конкурирующие гипотезы. Ранняя Гибель: человечество вымирает в следующем столетии и суммарное число людей, которое существовало за всё время, составляет, скажем, 200 миллиардов. Поздняя Гибель: человечество переживает следующий век и отправляется колонизировать галактику; суммарное число людей составляет, скажем, 200 триллионов. Для упрощения изложения мы рассмотрим только эти две гипотезы. (Использование дробного деления пространства гипотез не изменяет принцип, хотя даёт более точные численные значения.)
Ранняя гибель соответствует здесь тому, что есть только 10 человек в мысленном эксперименте Шага 2. Поздняя Гибель соответствует здесь тому, что было 100 человек. Номерам боксов мы сопоставим «ранги рождения» (birth ranks) человеческих существ – их позицию в человеческой расе. Изначальной вероятности (50%) того, что монета упадёт орлом или решкой, мы сопоставим некоторую изначальную вероятность Ранней Гибели и Поздней Гибели. Эта оценка будет выполнена на основе наших обычных эмпирических оценок потенциальных угроз человеческому выживанию, таких как ядерная или биологическая война, взрывающий завод метеорит, неограниченно растущий парниковый эффект, вышедшие из-под контроля саморазмножающиеся наномашины, распад метастабильного вакуума в результате высокоэнергетичных экспериментов с элементарными частицами и так далее (вероятно, есть много опасностей, о которых мы даже не думали). Скажем, что на основе таких размышлений, вы полагаете, что вероятность Ранней Гибели составляет 5%. Точное число не важно для структуры рассуждения.
Наконец, тому факту, что вы обнаруживаете себя в боксе 7, соответствует тот факт, что вы обнаруживаете, что ваш ранг рождения составляет примерно 60 миллиардов (что примерно соответствует числу людей, которое жило до вас). И подобно тому, как обнаружение себя в боксе 7 увеличивает вероятность того, что монетка выпала решкой, обнаружение себя человеком номер 60 миллиардов даёт вам основания полагать, что Ранняя Гибель более вероятна, чем вы думали раньше. В данном случае апостериорная вероятность Ранней Гибели очень близка к 1. Вы почти наверняка можете исключить Позднюю Гибель.
***
Таково Рассуждение о Конце Света в двух словах. Услышав его, многие люди думают, что они знают, что неправильно в нём. Но эти возражения имеют тенденцию быть взаимно несовместимыми, и часто они держатся на неких простых непониманиях. Обязательно прочтите имеющуюся литературу до того, как чувствовать себя достаточно уверенным в том, что у вас есть опровержение.
Если Рассуждение о Конце Света верно, что именно оно показывает? Оно не говорит, что нет смысла пытаться уменьшить угрозы человеческому выживанию, потому что «мы обречены в любом случае». Наоборот, Рассуждение о Конце Света может сделать такие усилия выглядящими даже более срочными. Работы по уменьшению риска того, что нанотехнологии будут употреблены во вред, чтобы уничтожить разумную жизнь, например, уменьшат начальную вероятность Ранней Гибели, и это уменьшит также её апостериорную вероятность после принятия в расчет Рассуждения о Конце Света; так что ожидаемая продолжительность жизни человечества вырастет.
Есть также определённое количество «брешей» или альтернативных интерпретаций того, что именно говорит Рассуждение о Конце Света. Например, оказывается, что если существует множество внеземных цивилизаций, и вы интерпретируете предположение о собственном местоположении как применимое в равное мере ко всем разумным существам, а не только к людям, то тогда происходит другой сдвиг вероятности, который точно уравновешивает и отменяет сдвиг вероятности, следующий из Рассуждения о Конце Света. Другая возможная брешь – это если в будущем будет бесконечно много людей; неясно, как применять предположения о собственном расположение в бесконечном случае. Далее, если люди разовьются в значительно более продвинутый вид довольно скоро (за век или два), может быть, посредством использования продвинутых технологий, тогда не ясно, будут ли эти пост-люди в том же референетном классе, что и мы, так что тогда не понятно, как в этом случае должно применяться Рассуждение о Конце Света.
Другой возможностью является то, что если размер популяции значительно уменьшится – то тогда потребуется гораздо больше времени, до того как достаточное людей родится, чтобы ваш ранг рождения начал казаться удивительно малым. И, наконец, может быть так, что референтные классы должны быть сделаны относительными, так что не все наблюдатели, даже не все люди, будут принадлежать к одному и тому же референетному классу.
Оправдание введения относительности референтных классов могло бы придти из общей теории эффектов избирательности наблюдения, в которой предположение о собственном расположении будет только одним из элементов. Теория эффектов селективности наблюдения – теория о том, как корректировать систематические ошибки (bias), которые вводятся тем фактом, что наши свидетельства отфильтрованы предусловием, что подходящим образом расположенный наблюдатель существует, «чтобы» получить эти свидетельства – будет иметь приложения во множестве областей науки, включая космологию и эволюционную биологию.
Так что хотя Рассуждение о Конце Света содержит интересную идею, оно должно быть соединено с дополнительными предположениями и принципами (некоторые из которых ещё предстоит выработать) до того, как она может быть применено к реальному миру. По всей вероятности, даже когда будут заполнены все детали, будет набор возможных вариантов относительно нашего будущего. Тем не менее, лучшее понимание эффектов избирательности наблюдения исключит определённые типы гипотез и установит неожиданные ограничения на любые самосогласованные теоретические построения о будущем нашего вида и о распределении наблюдателей во вселенной.
