
- •Препринт
- •Часть 1. Общие обзоры темы 6
- •Часть 2. Оценка вероятности глобальной катастрофы 201
- •Часть 3. Глобальные риски и новые технологии 374
- •Часть 4. Глобальные риски, связанные с природными катастрофами 545
- •Предисловие
- •Часть 1. Общие обзоры темы глобальных рисков Билл Джой. Почему мы не нужны будущему
- •Вернор Виндж. Технологическая Сингулярность
- •Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
- •Введение
- •Типология рисков
- •Риски существованию
- •Уникальность проблемы угроз существованию
- •4. Классификация рисков существованию
- •5. Взрывы
- •5.1. Преднамеренное злоупотребление нанотехнологиями
- •5.2. Ядерный холокост
- •5.3. Мы живем в симуляции, и она выключается
- •5.5. Генетически сконструированный биологический объект
- •5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- •5.7. Нечто непредвиденное
- •5.8. Катастрофы в результате физических экспериментов
- •5.9. Естественно возникшее заболевание
- •5.10. Столкновение с астероидом или кометой
- •5.11. Неудержимое глобальное потепление
- •6. Сужения
- •6.1. Истощение ресурсов или разрушение экологии
- •6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
- •6.3. Давление «вырождения»
- •6.4. Технологическая остановка
- •7. Скрипы
- •7.2. Сверхинтеллект с ошибкой
- •7.3. Глобальный репрессивный тоталитарный режим
- •7.4. Нечто непредвиденное1
- •8. Всхлипы
- •8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
- •8.2 Уничтожение внеземной цивилизацией
- •9.2 Парадокс Ферми
- •9.3 Эффекты наблюдательной селекции
- •9.4 Рассуждение о Симуляции
- •9.5 Когнитивные искажения
- •9.6 Оценка собранных данных
- •10. Рекомендации, касающиеся стратегии и этики
- •10.1. Поднимать известность проблемы рисков существованию
- •10.2 Создать структуру для международных действий
- •10.3 Сохранять готовность к превентивному действию в качестве последнего средства
- •10.4 Регулирование скорости развития технологий
- •10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
- •10.6. Максипок: эмпирическое правило для этичных поступков
- •Выражения признательности
- •Приложение: очерк эволюционного «всхлипа»
- •Библиография
- •Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков
- •Введение
- •1. Доступность информации
- •2. Когнитивные искажения, связанная со знанием «задним числом».
- •3. Черные лебеди
- •4. Ошибочное включение лишнего элемента
- •5. Ошибочность рассуждений, вызванная эффектом подтверждения
- •6. Якорение, настройка и загрязнение
- •7. Рассуждения, обусловленные аффектом
- •8. Пренебрежение масштабом
- •9. Калибровка и сверхуверенность
- •10. Апатия прохожего
- •Последнее предупреждение
- •Заключение
- •Рекомендуемое чтение
- •Библиография
- •Дэвид Брин. Сингулярность и кошмары
- •А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества
- •Угрозы уничтожения человечества
- •Неуничтожимость как главная сверхзадача цивилизации
- •Качества неуничтожимой цивилизации
- •О необходимости разработки теоретических основ решения задач неуничтожимости человечества
- •Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
- •Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф
- •Часть 2. Оценка вероятности глобальной катастрофы Ник Бостром1, Макс Тегмарк2. Насколько невероятна катастрофа судного дня?
- •Ник Бостром. Рассуждение о Конце Света для начинающих
- •Ник Бостром. Doomsday Argument жив и брыкается
- •Ник Бостром Доказательство симуляции
- •1.Введение
- •2. Предположение о независимости от носителя
- •3.Технологические пределы вычислений
- •4. Ядро доказательства о симуляции
- •5. Мягкий принцип равнозначности
- •6. Интепретация
- •7. Заключение
- •Введение: угрозы существованию и эффекты наблюдательной селекции
- •«Карманная» модель антропного искажения1
- •Обобщение модели
- •Антропное искажение: недооценка естественных угроз
- •Какие угрозы существованию подвержены антропной тени?
- •Антропные тени и риски физических экспериментов
- •Заключение
- •Приложение: словарь
- •Благодарности
- •Алексей Турчин. Природные катастрофы и антропный принцип
- •Введение
- •1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка
- •2. Природные катастрофы
- •3. Применение антропного принципа для анализа частоты природных катастроф
- •4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью
- •5. Быстрая эволюция разума в периоды высокой интенсивности природных катастроф
- •6. Заключение
- •Приложение a. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип
- •Литература:
- •Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками
- •Введение
- •Оценка вероятностей
- •3. Теории, модели и вычисления
- •4. Применение нашего анализа к рискам экспериментов на ускорителях
- •5. Заключение
- •Эдриан Кент. Критический обзор оценок рисков глобальных катастроф
- •Часть 3. Глобальные риски и новые технологии Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска
- •1. Систематическая ошибка, связанная с антропоморфизмом
- •1.1: Широта пространства возможных устройств ума
- •2: Предсказание и устройство
- •4: Способности и мотивы
- •4.1: Процессы оптимизации
- •4.2: Наведение на цель
- •5: Дружественный ии
- •6: Техническая неудача и философская неудача
- •6.1: Пример философской ошибки
- •6.2: Пример технической неудачи
- •7: Темпы усиления интеллекта
- •8: Оборудование
- •9: Угрозы и перспективы
- •10: Локальные стратегии и стратегии большинства
- •11: Ии и усиление человеческого интеллекта
- •12: Взаимодействие ии и других технологий
- •13: Ход прогресса в области Дружественного ии
- •Роберт Фрейтас. Проблема Серой Слизи
- •Crn. Опасности молекулярного производства
- •М. Вассер, р.Фрайтас. Проект «Нанощит»
- •Алексей Карнаухов. Парниковая катастрофа.
- •Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми
- •1. Введение
- •2. Макроинженерия и сценарий катастрофы
- •3. Миссия к центру Земли
- •4.Начало процесса вымирания
- •5.Применение сказанного к проблемам астробиологии
- •6. Культурологические и климатологические аспекты
- •7.Заключение
- •Ричард Керригэн. Следует ли обеззараживать сигналы seti?
- •А.В.Турчин. Глобальные риски, связанные с программой seti
- •1. История вопроса
- •2. Сценарий возможной атаки
- •3. Анализ возможных целей атаки
- •4. Возражения
- •П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня»)
- •Часть 4. Глобальные риски, связанные с природными катастрофами Владислав Пустынский. Последствия падения на Землю крупных астероидов
- •Уильям Нейпьер. Опасность комет и астероидов
- •1. Нечто вроде огромной горы
- •2.Как часто по нам бьют?
- •2.1 Ударные кратеры
- •2.2. Поиск околоземных объектов
- •2.3. Динамический анализ
- •3. Эффекты столкновения
- •4. Роль пыли
- •5. Наземная проверка?
- •6. Неопределённости
- •Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы
- •3. Вулканическая зима
- •4. Возможные последствия сверхизвержения для окружающей среды
- •5. Сверх-извержения и человеческая популяция
- •6. Частота сверхизвержений
- •7. Влияние сверхизвержения на цивилизацию
- •8. Сверхизвержения и жизнь во Вселенной
- •Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду
- •1. Введение
- •2. Радиационные угрозы
- •2.1 Достоверные угрозы
- •2.2. Солнечные вспышки
- •2.3. Солнечная активность и глобальное потепление
- •2.4 Вымирание в результате солнечной активности
- •2.5 Излучение от взрывов сверхновых
- •2.6 Гамма-всплески
- •3. Угрозы от космических лучей.
- •3.1 Изменения магнитного поля Земли
- •3.2 Солнечная активность, космические лучи и глобальное потепление
- •3.3 Прохождение через галактические спиральные рукава
- •3.4 Космические лучи от недалёкой сверхновой
- •3.5. Космические лучи от гамма-всплесков.
- •4. Причины крупнейших массовых вымираний
- •5. Парадокс Ферми и массовые вымирания
3. Анализ возможных целей атаки
Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.
Мы не должны путать понятия о сверхразвитой и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит. Хорошо об этом написано у Стругацких в романе «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятны. Если SETI-атака удалась, то её можно применить для «облагодетельствования» людей. Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизведения детей. Однако вирус ВИЧ пользуется этим каналом для своего распространения. А.Д. Панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической – а именно, мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не помешали нашим будущим исследованиям внеземной жизни.
Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли, уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI, связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и именно в этот момент наиболее уязвима для SETI-атаки. И, вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI-атака должна быть настроена именно на такую цивилизацию.
Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI-атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI-атаку.
Самое важное состоит в том, что достаточно один раз начать SETI-атаку, как она волной пойдёт по Вселенной, поражая всё новые и новые наивные цивилизации. Например, если у нас есть миллион неспособных к размножению обычных биологических вирусов и один опасный и способный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс, чтобы он пошёл по всей Вселенной. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно.
Далее, рассылка SETI-сообщений будет приоритетом для поражённой SETI-вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI не более нескольких десятков миллионов долларов в год, а на METI, то есть отправку – ещё меньше – за всё время было осуществлено только 30 часов направленных передач, то есть менее одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций (есть ряд соображений, по которым нормальным рациональным цивилизациям выгоднее слушать космос, чем посылать сообщения). Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше радиосигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую. Точно такую же ситуацию мы видим в современном Интернете – где почти половина сообщений является спамом, и эти сообщения генерируются очень небольшим количеством людей. Кроме того, значительная часть спама содержит в себе компьютерные вирусы, которые стремятся подчинить себе компьютер и использовать его для дальнейшей рассылки своих копий.
Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в далёкий космос.
Более того, такой процесс может начаться случайно – например, в начале это мог быть просто исследовательский проект, цель которого была в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом этот процесс из-за неких сбоев или мутаций стал «раковым».
Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы. Мы ведь не спрашиваем, зачем природа захотела создать биологический вирус.
Путешествие с помощью SETI-атаки гораздо дешевле любых других способов. А именно, находясь в галактике Андромеда, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.
Перечислю ещё несколько возможных целей SETI-атаки, просто чтобы показать, что их может быть много:
Это делается для исследования Вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.
Это делается для того, чтобы не возникло конкурирующих цивилизаций. все их зародыши уничтожаются.
Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом.
это делается для того, чтобы подготовить базу к прилёту реальных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия.
Это делается для достижения бессмертия. Кэрриген показал, что объём личной сознательной памяти человека имеет порядок 2,5 гигабайт, поэтому, переслав несколько экзобайт информации, можно переслать всю цивилизацию.
это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам было бы непонятно, зачем американцы установили флаг на луне. Стоило ли лететь за 300 000 км, чтобы установить окрашенную железяку?)
Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака, занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас размером в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI-атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна на галактику.
По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнуться на внеземной сигнал растут нелинейно, а по быстро растущей кривой.
Возможна ситуация, когда мы наткнёмся на несколько разных посланий из разных точек неба, которые опровергают одно другое в духе: «не слушайте их, они вас обманывают и желают вам зла». Это обычная ситуация в земном информационном поле (например, в средствах массовой информации), где разные издания критикуют друг друга.
Какие бы позитивные и ценные послания мы бы не получали, мы никогда не сможем быть уверены, что за всем этим не стоит очень тонкий обман. Это означает, что в межзвёздном общении всегда будет элемент недоверия.
Оборонительной позицией в межзвёздном общении считается слушать, ничего не посылая, чтобы не выдать своего местоположения. Законы США запрещают посылку посланий к звёздам. Те цивилизации, которые посылают – не боятся выдать своё местоположение. Возможно, потому что отправка сообщений для них важнее безопасности. Например, потому что они атакуют.
Про атомную бомбу сказали: главная тайна атомной бомбы в том, что её можно сделать. Если до открытия цепной реакции Резерфорд считал, что высвобождение атомной энергии – вопрос отдалённого будущего, то после открытия любой физик понимал, что достаточно создать критическую массу из урана. Иначе говоря, если однажды выяснится, что из Космоса поступают сигналы, это будет необратимое открытие. Даже если точные координаты источника сигнала будут скрыты, то его смогут переоткрывать снова и снова. Невозможно закрыть космос (хотя можно представить себе космические аппараты-глушители опасного сигнала, расположенные между Землёй и источником сигнала.)