- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Введение
- •Типология рисков
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
Полученный результат может показаться незначительным – снижение ожидаемого потолка пригодности Земли для жизни с 5 млрд. лет до примерно 100 миллионов ничего не меняет для судеб человечества, так как за 100 миллионов лет человечество или вымрет, или найдёт способы противостоять вновь появляющимся рискам. Фактически, как я стараюсь показать в своей работе «Структура глобальной катастрофы», шансы вымирания человечества в XXI веке составляют несколько десятков процентов. Этой же точки зрения придерживаются и другие исследователи глобальных рисков – М.Рис и Н. Бостром.
Однако не всё так просто. Если верно, что мы находимся в области маловероятного снижения частоты природных катастроф, то можно предположить, что многие катастрофы такого рода уже назрели. Например, в магматической камере супервулкана уже скопилось большое количество расплава.
Конкретный момент извержения зависит от множества случайных факторов, однако чем в большей мере извержение назрело, тем более слабое внешнее воздействие может его пробудить. Например, упрощённо говоря, если толщина крышки магматической камеры 5 км, а давление в камере таково, что способно разрушить 4 900 метров крышки, то бурение скважины глубиной всего в 100 метров приведёт к нарушению целостности магматической камеры.
Рост технологической цивилизации сопровождается непрерывным ростом воздействий человека на природу. Мы изменяем состав атмосферы, бурим всё более глубокие скважины и т. д. При этом мы предполагаем, что литосфера и атмосфера находятся в устойчивом состоянии, поскольку они существуют уже миллиарды лет. Однако если мы учтём эффекты наблюдательной селекции, то мы должны допустить, что они со значительной вероятностью находятся в неустойчивом состоянии на грани катастрофической бифуркации и наши воздействия могут превысить критический порог, который приведёт к их решительным изменениям.
Из процессов, которые вероятнее всего находятся на грани катастрофического изменения, следует в первую очередь отметить глобальное потепление. Мы не можем оценивать степень неустойчивости земной атмосферы, исходя из прошлых данных. И если эта неустойчивость велика, то даже малейшие вмешательства человека могут ее запустить. Последние данные показывают, что так оно и есть – а именно началось выделение метана со дня Ледовитого океана, что может привести к цепной реакции разогрева Земли по венерианскому сценарию. (В Арктике обнаружены массированные выбросы метана. http://www.strf.ru/science.aspx?CatalogId=222&d_no=15599)
Во-вторых, сама земная литосфера может быть неустойчива. Например, литосфера Венеры, по некоторым данным, полностью обновилась полмиллиарда лет назад. Глубокое бурение и попытки отправить зонд к центру Земли могут привести к катастрофической дегазации земных недр, которая, возможно, давно уже запоздала. Это всё равно, что трогать иголкой чрезмерно надутый воздушный шарик. Милан Чиркович обратил внимание на этот риск в статье: «Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми». http://www.proza.ru/texts/2007/11/10/290.html)
Гораздо более гипотетической является возможность того, что воздействие человека приведёт к разрушению каких-либо небесных тел в Солнечной системе. Среди возможных вариантов – детонация термоядерного горючего (дейтерия) в планетах-гигантах, взрывы ионизированного льда в их спутниках, нарушение отлаженного равновесия орбит астероидов. Подробный обзор этих гипотетических сценариев я даю в статье «О возможности искусственной инициации взрыва планет-гигантов и других объектов Солнечной системы».
http://www.proza.ru/texts/2008/07/19/466.html)
Наблюдательная селекция может приводить к существенной недооценки рисков Большого адронного коллайдера, а также множества других менее известных экспериментов, об опасности которых мы можем даже не подозревать.
