
- •Г. Г. Малинецкий1. Размышления о немыслимом
- •Глобальная неустойчивость
- •Психологический дискурс
- •Проблема инструмента
- •В погоне за предвестниками
- •4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба.
- •4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются.
- •4.4. На обсуждении многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно.
- •4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба.
- •Н. Бостром. Вводное слово
- •Предисловие
- •Термины
- •Введение
- •Часть 1. Анализ Рисков Глава 1. Общие замечания
- •1.1 Пространство возможностей
- •1.2 Рассматриваемый промежуток времени: XXI век
- •1.3 Проблемы вычисления вероятностей различных сценариев
- •1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
- •1.5 Глобальные катастрофы и горизонт прогнозирования
- •1.6 Краткая история исследований вопроса
- •1.7 Угрозы менее масштабных катастроф: уровни возможной деградации
- •1.8 Однофакторные сценарии глобальной катастрофы
- •1.9 Принципы классификации глобальных рисков
- •Глава 2. Атомное оружие
- •2.1 «Ядерная зима»
- •2.2 Полное радиоактивное заражение
- •2.3 Иные опасности атомного оружия Сверхбомба
- •Накопление антиматерии
- •Дешёвая бомба
- •Атака на радиационные объекты
- •Взрыв мощных бомб в космосе
- •2.4 Интеграция поражающих факторов ядерного оружия
- •2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации
- •2.6 Вероятность глобальной катастрофы, вызванной ядерным оружием
- •2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени
- •2.8 Стратегия сдерживания под вопросом
- •2.9 Ядерный терроризм как фактор глобальной катастрофы
- •2.10. Выводы по рискам применения ядерного оружия
- •Глава 3. Глобальное химическое заражение
- •Глава 4. Биологическое оружие
- •4.1 Общие соображения и основные сценарии
- •4.2 Структура биологической катастрофы
- •4.3 «Саморазмножающейся» синтезатор днк
- •4.4 Множественный биологический удар
- •4.5 Биологические средства доставки
- •4.6 Вероятность применения биологического оружия и её распределение во времени
- •Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека
- •5.1. Воздействие на центр удовольствия и новые технологии
- •5.2 Риски, связанные с самокопирующимися идеями (мемами)
- •5.3. Риски, связанные с размыванием границ между человеческим и нечеловеческим
- •5.4. Риски, связанные с проблемой «философского зомби»84
- •Глава 6. Искусственный интеллект
- •6.1. Общее описание проблемы
- •6.2 Ии как универсальное абсолютное оружие
- •6.3 Система целей
- •6.4 Борьба ии-проектов между собой
- •6.5 «Усовершенствованный человек»
- •6.6 Ии и его отдельные экземпляры
- •6.7 «Бунт» ии
- •6.8 Скорость старта
- •6.9 Сценарии «быстрого старта»
- •6.10 Медленный старт и борьба разных ии между собой
- •6.11 Плавный переход. Превращение государства тотального контроля в ии
- •6.12 «Восстание» роботов
- •6.13 Контроль и возможность истребления
- •6.14 Ии и государства
- •6.15 Вероятность катастрофы, связанной с ии
- •6.16 Другие риски, связанные с компьютерами
- •6.17 Время возникновения ии
- •Глава 7. Риски, связанные с роботами и нанотехнологиями
- •7.1 Проблема создания микроскопических роботов и нанотехнологии
- •7.2 Робот-распылитель
- •7.3 Самовоспроизводящийся робот
- •7.4 Стая микророботов
- •Армии крупных боевых роботов, выходящие из-под контроля
- •7.6 Миниатюризация роботов – путь к нанотехнологическому оружию
- •7.7 Неограниченное распространение самовоспроизводящихся нанороботов
- •7.8 Вероятность возникновения нанороботов и возможное время для этого события
- •Глава 8. Технологические способы провоцирования природных катастроф
- •8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел
- •8.2 Отклонение астероидов
- •8.3 Создание искусственного сверхвулкана
- •8.4 Намеренное разрушение озонового слоя
- •Глава 9. Технологические риски, связанные с принципиально новыми открытиями
- •9.1 Неудачный физический эксперимент
- •9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия
- •Глава 10. Риски, создаваемые космическими технологиями
- •10.1 Атака на землю с помощью космического оружия
- •10.2 Ксенобиологические риски
- •10.3 Столкновение с превосходящими нас разумными силами во Вселенной
- •Глава 11. Риски, связанные с программой seti
- •11.1 История вопроса
- •11.2 Сценарий возможной атаки
- •11.3 Анализ возможных целей атаки
- •11.4 Анализ возможных возражений
- •11.5 Выводы о рисках seti -атаки
- •Глава 12. Риски, связанные с природными катастрофами
- •12.1 Вселенские катастрофы
- •12.2 Геологические катастрофы
- •12.3 Извержения сверхвулканов
- •12.4 Падение астероидов
- •12.5 Зона поражения в зависимости от силы взрыва
- •12.6 Солнечные вспышки и увеличение светимости
- •12.7 Гамма-всплески
- •12.8 Сверхновые звёзды
- •12.9 Сверх-цунами
- •12.10 Сверх-землетрясение
- •12.11 Переполюсовка магнитного поля Земли
- •12.12 Возникновение новой болезни в природе
- •Глава 13. Крайне маловероятные природные риски
- •13.1. Неизвестные процессы в ядре Земли
- •13.2. Внезапная дегазация растворённых в мировом океане газов
- •13.3. Нарушение стабильности Земной атмосферы
- •13.4. Взрывы других планет солнечной системы
- •13.5. Немезида
- •13.6 Ложные и опровергнутые теории глобальных катастроф.
- •Глава 14. Природные катастрофы и эффект наблюдательной селекции
- •14.1. Прекращение действия «защиты», которую нам обеспечивал антропный принцип
- •14.2. Ослабление устойчивости природных процессов и человеческие вмешательства
- •Глава 15. Глобальное потепление
- •Глава 16. Антропогенные риски, не связанные с новыми технологиями
- •16.1 Исчерпание ресурсов
- •16.2 Перенаселение
- •16.3 Крах биосферы
- •16.4 Социально-экономический кризис. Война
- •16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
- •16.6 Старение вида
- •16.7 Вытеснение другим биологическим видом
- •16.8 Неизвестные нам сейчас причины катастроф
- •Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы
- •17.1. Общие признаки любого опасного агента
- •17.2. Способы возникновения
- •17.3. Выход из точки и начало распространения
- •17.4. Распространение важнее разрушения
- •17.5. Способ распространения
- •17.6. Способ причинения смерти
- •17.7. Типичные виды разрушающего воздействия
- •17.8. Временная структура события
- •17.9. Предаварийные ситуации
- •17.10. Намеренная и случайная глобальная катастрофа
- •17.11. Машина судного дня
- •Глава 18. Многофакторные сценарии
- •18.1. Интеграция различных технологий, создающие ситуации риска
- •18.2. Парные сценарии
- •18.3. Изучение глобальных катастроф с помощью моделей и аналогий
- •18.4. Неизбежность достижения устойчивого состояния
- •18.5. Рекуррентные риски
- •18.6. Глобальные риски и проблема темпа их нарастания
- •18.7. Сравнительная сила разных опасных технологий
- •18.8. Последовательность возникновения различных технологий во времени
- •18.9. Сопоставление различных технологических рисков
- •18.10. Цели создания оружия судного дня
- •18.11 Социальные группы, готовые рискнуть судьбой планеты
- •18.12. Обобщающий коэффициент, связанный с человеческим фактором
- •18.13. Принятие решения о ядерном ударе
- •18.14. Цена вопроса
- •18.15 Универсальные причины вымирания цивилизаций.
- •Глава 19. События, изменяющие вероятность глобальной катастрофы.
- •19.1. Определение и общие соображения
- •19.2. События, которые могут открыть окно уязвимости
- •19.3. Системные кризисы
- •19.4. Кризис кризисов
- •19.5. Технологическая Сингулярность
- •19.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов
- •19.7. Системный кризис и технологические риски
- •19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы
- •19.9. Криптовойна
- •19.10. Уязвимость к сверхмалым воздействиям
- •19.11. Гонка вооружений
- •19.12. Моральная деградация
- •19.13. Враждебность в обществе как сценарный фактор
- •19.14. Месть как сценарный фактор
- •19.15. Война как сценарный фактор
- •19.16. Деградация биосферы
- •19.17. Глобальная дезинфекция
- •19.18. «Раскачивающее» управление
- •19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
- •19.20. Общие модели поведения систем на грани устойчивости
- •19.21. Гипотеза техногуманитарного баланса
- •19.22. Схемы сценариев
- •19.23. Степень мотивации и осведомленности лиц, принимающих решения, как факторы глобального риска
- •19.24 Означает ли крах технологической цивилизации вымирание людей.
- •Глава 20. Факторы, влияющие на скорость прогресса
- •20.2. Закон Мура
- •Глава 21. Защита от глобальных рисков
- •21.1. Общее понятие о предотвратимости глобальных рисков
- •21.2. Активные щиты
- •21.3. Действующие и будущие щиты
- •21.4. Сохранение мирового баланса сил
- •21.5. Возможная система контроля над глобальными рисками
- •21.6. Сознательная остановка технологического прогресса
- •21.7. Средства превентивного удара
- •21.8. Удаление источников рисков на значительное расстояние от Земли
- •21.9. Создание автономных поселений в отдалённых уголках Земли
- •21.10. Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики
- •21.11. Убежища и бункеры
- •21.12. Опережающее расселение в космосе
- •21.13 «Всё как-нибудь обойдётся»
- •21.14 Деградация цивилизации до уровня устойчивого состояния
- •21.15 Предотвращение одной катастрофы с помощью другой
- •21.16 Опережающая эволюция человека
- •21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы
- •21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания
- •21.19 Предположения о том, что мы живём в «Матрице».
- •21.20 Глобальные катастрофы и устройство общества
- •21.21 Глобальные катастрофы и текущая ситуация в мире
- •21.22 Мир после глобальной катастрофы
- •21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
- •Максимализация функции удовольствия.
- •Глава 22. Непрямые способы оценки вероятности глобальной катастрофы
- •22.1. Закон Парето
- •22.2. Гипотеза о «Чёрной королеве»
- •22.3. Парадокс Ферми
- •22.4. Теорема о Конце света - «Doomsday argument». Формула Готта
- •22.5. Рассуждение о конце света Картера-Лесли
- •22.6. Непрямая оценка вероятности природных катастроф
- •22.7 Рассуждение о Симуляции
- •22.8. Интеграция различных непрямых оценок
- •Глава 23. Наиболее вероятный сценарий глобальной катастрофы
- •Часть 2. Методология анализа глобальных рисков Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа
- •Глава 2. Ошибки, возможные только относительно угроз существованию человечества
- •1. Путаница относительно глобальных катастроф и просто очень больших катастроф
- •2. Недооценка неочевидных рисков
- •3. Глобальные риски нетождественны национальной безопасности
- •4. Ошибка, связанная с психологизацией проблемы
- •5. Отождествление глобальной катастрофы со смертью всех людей и наоборот
- •6. Стереотип восприятия катастроф, который сложился в результате работы сми
- •7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила
- •8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»
- •9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти
- •10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания
- •11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов
- •12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество
- •13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски
- •14. Особенность связи теоретического и практического в отношении глобальных рисков
- •15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения
- •16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему
- •17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти
- •18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию
- •19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно
- •20. Гордыня исследователя
- •21. Интуиция как источник ошибок в мышлении о глобальных рисках
- •22. Научное исследование глобальных рисков также сталкивается с рядом проблем
- •23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска
- •24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам
- •25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта
- •26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему
- •27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»
- •28. Преувеличение прогностической ценности экстраполяции
- •29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света
- •30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска
- •31. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей
- •32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной
- •33. Недооценка системных факторов глобального риска
- •34. Призыва типа: «Мы все должны бороться за мир»
- •35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы
- •36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»
- •41. Неспособность человека представить свою собственную смерть
- •42. Подход к жизни в духе: «После нас хоть потоп»
- •43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели
- •44. Религиозные мировоззрения и эсхатологические культы
- •45. Неопределённость значений новых терминов
- •Глава 3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков
- •1. Основной причиной человеческих ошибок является сверхуверенность
- •2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых
- •7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения
- •8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности
- •9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе
- •10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться
- •11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах
- •12. Представления о том, что мышление о глобальных рисках – пессимистично
- •13. «Теории заговора» как препятствие для научного анализа глобальных рисков
- •14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов
- •15. Особенности человеческой эмоции страха
- •16. Недооценка значения удалённых событий (discount rate)
- •17. Сознательное нежелание знать неприятные факты
- •18. Эффект смещения внимания.
- •19. Интернет как источник возможных ошибок
- •20. Верования
- •21. Врождённые страхи
- •22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске
- •23. Трудность в определении границ собственного знания
- •24. Юмор как фактор возможных ошибок
- •25. Паника
- •26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок
- •27. Склонность людей бороться с опасностями, которые уже были в прошлом
- •28. Усталость от ожидания катастрофы
- •29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности
- •30. Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта
- •31. Недооценка или переоценка нашей способности противостоять глобальным рискам
- •32. Стокгольмский синдром
- •33. За ошибками оператора стоит неправильная подготовка
- •34. Группа людей может принимать худшие решения, чем каждый человек в отдельности
- •35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок
- •36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо
- •37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»)
- •38. Эффект избирательности внимания
- •39. Подсознательное желание катастрофы
- •40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса
- •41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа
- •42. Логическая ошибка генерализации на основании художественного вымысла
- •43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества
- •44. Секретность как источник ошибок в управлении рисками
- •45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
- •46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
- •47. Недооценка человеческого фактора
- •48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •49. Статистика как источник возможных ошибок
- •50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты
- •51. Двойная ошибка
- •52. Анализ глобальных рисков не есть создание прогнозов
- •53. Иллюзия знания задним числом
- •54. Эффект настройки на источники информации
- •55. Принятие малого процесса за начало большой катастрофы
- •56. Более простое объяснение катастрофы подменяет более сложное
- •57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования
- •58. Стремление людей установить некий приемлемый для них уровень риска
- •59. Эффект «сверхуверенности молодого профессионала»
- •60. Ощущение неуязвимости у выживших
- •61. Переоценка собственных профессиональных навыков.
- •62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной
- •63. Усталость исследователя
- •64. Страх потери социального статуса исследователями
- •65. Количество внимания, которое общество может уделить рискам, конечно
- •66. Пренебрежение экономикой
- •67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит
- •68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей
- •69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав
- •70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
- •71. Ошибка, связанная с неправильной корреляцией силы и безопасности
- •72. Преждевременные инвестиции
- •73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов
- •74. Апатия прохожего
- •75. Потребность в завершении
- •76. Влияние авторитета и социальное давление группы
- •77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»
- •78. Ошибка, связанная с интеллектуальной проекцией
- •79. Представление о том, что изменять обстоятельства следует, уничтожая их причины
- •80. Забвение основного принципа медицины – «Не навреди!»
- •81. Путаница между объективными и субъективными врагами
- •86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта
- •87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую
- •88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки
- •89. Отказ рассматривать некий сценарий по причине его «невероятности»
- •90. Переход от обмана к самообману
- •91. Переоценка собственных возможностей вообще и выживаемости в частности
- •92. Стремление к прекрасному будущему, заслоняющее восприятие рисков
- •93. Фильтры, мешающие поступлению информации к руководству
- •94. Любопытство может оказаться сильнее страха смерти
- •95. Система и регламент
- •96. Эффект «стрелочника»
- •97. Минимальный воспринимаемый риск
- •98. Отвержение новых идей
- •99. Воздействие эмоциональной реакции шока
- •100. Проблемы отбора экспертов
- •101. Вина и ответственность как факторы предотвращения рисков
- •102. Недооценка сил инерции как фактора устойчивости систем
- •103. Мнения, обусловленные мировоззрением
- •104. Борьба за научный приоритет
- •105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы
- •106. Систематическая ошибка, связанная с эгоцентричностью
- •107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий
- •107. Зависимость реакции от скорости изменения величины
- •Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках
- •1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте
- •2. Подмена анализа возможностей анализом целей
- •3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго
- •4. Мышление, обусловленное желанием нечто доказать
- •5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов
- •6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит
- •7. Использование так называемого «авторитетного знания»
- •8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана
- •9. Восприятие новой информации через призму старой
- •10. Ошибка в выборе нейтральной позиции
- •11. Уверенность как источник ошибок
- •12. Использование полностью ошибочной логики
- •13. Смешение преднауки и псевдонауки
- •14. Ошибка, связанная с неправильным определением статуса «универсалий»
- •15. Утверждения о возможности чего-то и невозможности неравносильны
- •16. Очевидности как источник ошибок
- •17. Недооценка собственной ошибочности
- •18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину
- •24. Санкт-Петербургский парадокс
- •Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта
- •1. Разброс мнений по вопросу о безопасности ии означает отсутствие реальных доказательств безопасности
- •2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •3. Ошибки в критике ии Пенроузом
- •4. Представление о том, что 3-х законов робототехники а.Азимова достаточно, чтобы решить все проблемы с безопасностью ии
- •5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует
- •6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ии
- •7. Ошибочные представления о том, что ии – это разные конкретные приложения, вроде техники распознания образов
- •14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем
- •15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ии будет работать очень медленно
- •16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ии, и поэтому Ии не представляет никакой угрозы
- •17. Ошибочное представление о том, что ии невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически
- •18. Ошибочное представление о том, что ии будет примерно такой же умный, как и человек
- •19. Ошибочное представление о том, что ии будет равноправным сотрудником человека с теми же возможностями и правами
- •20. Ошибочное представление о том, что ии будет много
- •21. Различия в понимании того, что, собственно, является интеллектом
- •22. Ошибочное однозначное отождествление ии с отдельным объектом
- •23. Ошибочное представление о том, что достаточно спрятать ии в «чёрный ящик», чтобы он стал безопасен
- •24. Ошибочное возражение следующего рода: «в Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ии невозможен»
- •25. Ошибочное представление о том, что ии надо дать команду X (подставить нужное), и всё будет в порядке
- •26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»
- •12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий
- •13. Наша склонность ожидать грандиозных результатов только от грандиозных причин
- •14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил
- •15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов
- •16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом
- •Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков
- •Открытая дискуссия как точка отсчёта
- •2. Принцип предосторожности
- •Заключение. Перспективы предотвращения глобальных катастроф
- •Литература
- •Приложение. Таблица катастроф
- •Примечания:
Литература
Blair Bruce G. The Logic of Accidental Nuclear War. Brookings Institution Press, 1993.
Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (Русский перевод: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
Bostrom N. Antropic principle in science and philosophy. L., 2003.
Bostrom N. Are You Living In a Computer Simulation?. // Philosophical Quarterly, 2003, Vol. 53, No. 211, pp. 243-255., http://www.simulation-argument.com/, (Русский сокращённый перевод: http://alt-future.narod.ru/Future/bostrom3.htm )
Bostrom, N. and M. Cirkovic eds. Global Catastrophic Risks. Oxford University Press. 2008.
Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. // Journal of Evolution and Technology, 9. 2001. (Русский перевод: Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ.: http://www.proza.ru/texts/2007/04/04-210.html)
Bostrom, N. How Long Before Superintelligence? // International Journal of Futures Studies, 2. 1998. URL: http://www.nickbostrom.com/superintelligence.html.
Bostrom, N. Observer-relative chances in anthropic reasoning? // Erkenntnis, 52, 93-108. 2000. URL: http://www.anthropic-principle.com/preprints.html.
Bostrom, N. The Doomsday Argument is Alive and Kicking. // Mind, 108 (431), 539-550. 1999. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.
Bostrom, N. The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. // Synthese, 127(3), 359-387. 2001. URL: http://www.anthropic-principle.com.
Cirkovic Milan M., Richard Cathcart. Geo-engineering Gone Awry: A New Partial Solution of Fermi's Paradox. // Journal of the British Interplanetary Society, vol. 57, pp. 209-215, 2004.
Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.
Collar J.I. Biological Effects of Stellar Collapse Neutrinos. // Phys.Rev.Lett. 76, 1996, 999-1002 URL:http://arxiv.org/abs/astro-ph/9505028
Dar, A. et al. Will relativistic heavy-ion colliders destroy our planet? // Physics Letters, B 470, 142-148. 1999.
Dawes, R.M. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich, 1988.
Diamond Jared. Collapse: How Societies Choose to Fail or Succeed. Viking Adult, 2004.
Drexler, K.E. Dialog on Dangers. Foresight Background 2, Rev. 1. 1988. URL: http://www.foresight.org/Updates/Background3.html.
Drexler, K.E. Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. 1985. URL: http://www.foresight.org/EOC/index.html.
Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. // Journal of Risk and Uncertainty, 14: 238-300. 1997.
Foresight Institute. Foresight Guidelines on Molecular Nanotechnology, Version 3.7. 2000. URL: http://www.foresight.org/guidelines/current.html.
Forrest, D. Regulating Nanotechnology Development. 1989. URL: http://www.foresight.org/NanoRev/Forrest1989.html.
Freitas (Jr.), R.A. A Self-Reproducing Interstellar Probe. // J. Brit. Interplanet. Soc., 33, 251-264. 1980.
Freitas (Jr.), R.A. Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html. (Русский перевод: Р.Фрейтас. Проблема серой слизи. http://www.proza.ru/texts/2007/11/07/59.html)
Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.
Gold, R.E. SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
Gott J. R. III. Implications of the Copernican principle for our future prospects. // Nature, 363, 315–319, 1993.
Gubrud, M. Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. 2000. URL: http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html.
Hanson R. Catastrophe, Social Collapse, and Human Extinction // Global Catastrophic Risks, ed. Nick Bostrom. 2008. http://hanson.gmu.edu/collapse.pdf
Hanson, R. Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. 1998. URL: http://hanson.gmu.edu/workingpapers.html.
Hanson, R. et al. A Critical Discussion of Vinge's Singularity Concept. // Extropy Online. 1998. URL: http://www.extropy.org/eo/articles/vi.html.
Hanson, R. What If Uploads Come First: The crack of a future dawn. // Extropy, 6(2). 1994. URL: http://hanson.gmu.edu/uploads.html.
http://www.acceleratingfuture.com/michael/blog/?p=539
http://www.proza.ru/texts/2007/05/14-31.html
Jackson, R.J. et al. Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. 2001. Journal of Virology, 73, 1479-1491.
Joy, B. Why the future doesn't need us. // Wired, 8.04. 2000. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press, 2000.
Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. NY, Cambridge University Press, 1982.
Knight, L.U. The Voluntary Human Extinction Movement. 2001. URL: http://www.vhemt.org/.
Knobe Joshua, Ken D. Olum and Alexander Vilenkin. Philosophical Implications of Inflationary Cosmology. // British Journal for the Philosophy of Science Volume 57, Number 1, March 2006, pp. 47-67(21) http://philsci-archive.pitt.edu/archive/00001149/00/cosmology.pdf
Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989.
Kurzweil, R. The Age of Spiritual Machines: When computers exceed human intelligence. NY, Viking. 1999.
Leslie J. The End of the World: The Science and Ethics of Human Extinction. 1996.
Leslie, J. Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15. 1989.
Mason C. The 2030 Spike: Countdown to Global Catastrophe. 2003.
Melott, B. Lieberman, C. Laird, L. Martin, M. Medvedev, B. Thomas. Did a gamma-ray burst initiate the late Ordovician mass extinction? // arxiv.org/abs/astro-ph/0309415, (Русский перевод: Гамма-лучи могли вызвать на Земле ледниковый период. http://www.membrana.ru/articles/global/2003/09/25/200500.html
Merkle, R.. The Molecular Repair of the Brain. Cryonics, 15 (1 and 2). 1994.
Michael Foote, James S. Crampton, Alan G. Beu, Bruce A. Marshall, Roger A. Cooper, Phillip A. Maxwell, Iain Matcham. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks // Science. V. 318. P. 1131–1134. 2007.
Milgrom Paul, Nancy Stokey. Information, trade and common knowledge. // Journal of Economic Theory, Volume 26:1, pp. 17-27. 1982.
Moravec, H. Mind Children: The Future of Robot and Human Intelligence, 1988.
Moravec, H. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press. 1999.
Moravec, H. When will computer hardware match the human brain? // Journal of Transhumanism, 1. 1998. URL: http://www.transhumanist.com/volume1/moravec.htm.
Morgan, M.G. Categorizing Risks for Risk Ranking. // Risk Analysis, 20(1), 49-58. 2000.
Neil Gehrels, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // Astrophysical Journal 585: 1169–1176. Retrieved on 2007-02-01. http://xxx.lanl.gov/abs/astro-ph/0211361
Nowak, R. Disaster in the making. // New Scientist, 13 January 2001. 2001. URL: http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html.
Perrow, Charles. Normal Accidents: Living with High-Risk Technologies. Princeton University Press. 1999.
Posner Richard A. Catastrophe: Risk and Response. Oxford University Press, 2004.
Powell, C. 20 Ways the World Could End. Discover, 21(10). 2000. URL: http://www.discover.com/oct_00/featworld.html.
Raffensberger C, Tickner J (eds.) Protecting Public Health and the Environment: Implementing the Precautionary Principle. Island Press, Washington, DC, 1999.
Robock, Alan, Luke Oman, и Georgiy L. Stenchikov: Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences. // J. Geophys. Res., 112, D13107, doi:2006JD008235. 2007. (русский перевод: http://climate.envsci.rutgers.edu/pdf/RobockNW2006JD008235Russian.pdf )
Roland Jon. Nuclear Winter and Other Scenarios, 1984. рукопись. http://www.pynthan.com/vri/nwaos.htm
Ross, M. & Sicoly, F. Egocentric biases in availability and attribution. // Journal of Personality and Social Psychology 37, 322-336. 1979.
Shute, N. On the Beach. Ballentine Books. 1989.
Simmons Matthew R. Twilight in the Desert: The Coming Saudi Oil Shock and the World Economy. NY, 2005.
Sir Martin Rees. Our final hour. NY, 2003.
Stevenson David. A Modest Proposal: Mission to Earth’s Core. // Nature 423, 239-240 2003.
Svenson, O. Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148. 1981.
Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? NY, Random House, 2005.
Tegmark M. The interpretation of quantum mechanics: many worlds or many words? // Fortschr. Phys. 46, 855-862. 1998 http://arxiv.org/pdf/quant-ph/9709032
Tickner, J. et al. The Precautionary Principle. 2000. URL: http://www.biotech-info.net/handbook.pdf.
Turner, M.S., & Wilczek, F. Is our vacuum metastable? Nature, August 12, 633-634. 1982.
Vinge, V. The Coming Technological Singularity. Whole Earth Review, Winter issue. 1993.
Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. NY, 2000.
Warwick, K. March of the Machines. London: Century. 1997.
Whitby, B. et al. How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. 2000. http://www.informatics.sussex.ac.uk/users/blayw/BlayAISB00.html
Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008. (Русский перевод: Е.Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html)
Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008 (Русский перевод: Е.Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
Yudkowsky, E. Creating Friendly AI 1.0. 2001. URL: http://www.singinst.org/upload/CFAI.html.
Абрамян Е.А. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. М., Терика, 2006.
Азимов А. Выбор катастроф. М., Амфора, 2002.
Александровский г. бегство от умирающего солнца. // наука и жизнь, №08, 2001. http://nauka.relis.ru/05/0108/05108042.htm
Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.
Анисимов А. Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США // Россия XX. № 4. № 5. 2002. http://ecc.ru/XXI/RUS_21/ARXIV/2002/anisimov_2002_4.htm
Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998.
Архипов А.В. Археологический аспект исследований Луны // Астрономический вестник. 1994. Т.28. N4-5.- С.211-214. см. http://www.arracis.com.ua/moon/m312.html
Бестужев-Лада И. Человечество обречено на вымирание, Московский комсомолец, май, 2006.
Биндеман И. тайная жизнь супервулканов. // В мире науки. N 10. 200
Бобылов Ю. Генетическая бомба. Тайные сценарии биотерроризма. Белые Альвы, 2006.
Брин Д. Сингулярность и кошмары. Nanotechnology Perceptions: A Review of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006.
Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985
Воробьёв, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
Владимиров В.А., Малинецкий Г.Г., Потапов А.Б. и др. Управление риском. Риск, устойчивое развитие, синергетика. М., Наука, 2000
Геворкян С.Г., Геворкян И.С. Преднамеренные антропогенные экологические катастрофы. // Эволюция, , №3. 2006.
Данилов-Данильян В.И., Лосев К.С., Рейф И.Е. Перед главным вызовом цивилизации. Взгляд из России.
Докинз Р. Эгоистичный ген. М., Мир, 1993.
Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // Журнал технической физики, том 69, вып. 9. 1999.
Дядин Ю. А., Гущин А. Л. Газовые гидраты и климат земли. // Соросовский Образовательный Журнал, N3, 1998.
Ергин Дэниел. Добыча. Всемирная история борьбы за нефть, деньги и власть. М. 2003.
Еськов К.Ю. История Земли и жизни на ней. М., НЦ ЭНАС, 2004.
Израэль Ю.А. Экологические последствия возможной ядерной войны. // Метеорология и гидрология, 1983, №10.
Капица С., Курдюмов С., Малинецкий Г., Синергетика и прогнозы будущего. М., 2001.
Карнаухов А.В. К вопросу об устойчивости химического баланса атмосферы и теплового баланса земли. // Биофизика, том 39, вып. 1. 1994.
Карпан Н.. Атомной энергетике не отмыться от Чернобыля. // Зеркало недели. №13 (592) 8-14 апреля 2006 http://pripyat.com/ru/publications/2006/04/08/750.html
Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, №6. 1998.
Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, №2 2006. (Совместно с О.В. Степаносовой).
Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). М., Аспект Пресс, 2003.
Красилов В.А. Модель биосферных кризисов. // Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm
Куркина Е.С. Конец режимов с обострением. Коллапс цивилизации. Доклад. http://spkurdyumov.narod.ru/kurkinaes.htm
Лем С. О невозможности прогнозирования. Собрание сочинений, т.10. М., "Текст", 1995.
Лем С. Сумма технологий, 1963.
Лем С. Фантастика и футурология, 1970.
МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. СПб., Речь, 2001.
марков а.в. Возвращение черной королевы, или закон роста средней продолжительности существования родов в процессе эволюции. // Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm.
Медведев Данила. Конвергенция технологий как фактор эволюции. http://www.transhumanism-russia.ru/content/view/317/116/ // в сб. Диалоги о будущем. М., 2008.
Медоуз Д.и др. Пределы роста, 1972.
Моисеев Н. Судьба цивилизации. М., Путь разума, 1998
Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. М., 2001.
Онищенко Г. Биотерроризм, ВАН, т. 73, № 3, 2003
Оруэлл Дж. 1984. L. 1948.
Панов А.Д. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. // Вселенная, пространство, время. № 2, 2004. http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html
Пенроуз Р. Новый ум короля. О компьютерах, мышлении и законах физики. М., УРСС, 2005.
Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.
Росс Л., Нисбетт Р. Человек и ситуация: Уроки социальной психологии. Аспект Пресс, М., 1999. http://evolkov.iatp.ru/social_psychology/Ross_L_Nisbett_R/index.html
Сорос Дж. Кризис мирового капитализма. Открытое общество в опасности. Пер. с англ. М., ИНФРА-М, 1999.
Сорохтин О.Г., Ушаков С.А. Развитие Земли. М., Изд-во МГУ, 2002.
Сывороткин В.Л.. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, М., 2001.
Тофлер, Э. Шок будущего. М., АСТ, 2002.
Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М., КомКнига, 2007.
Турчин А.В. Природные катастрофы и антропный принцип. // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М., КомКнига, 2007.
Фон Нейман, Дж. Теория самовоспроизводящихся автоматов. М., Мир, 1971.
Фукуяма Ф. Наше постчеловеческое будущее. Последствия биотехнологической революции, 2002.
Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира. // Природа, № 6. 2004.
Чирков Ю. Ожившие химеры. М., 1989.
Шафмейстер Х. Молекулярный конструктор. // В мире науки, №9, 2007.
Шкловский и.с. звёзды. Их рождение, жизнь и смерть. М., Наука, 1984.
Юдина А. Новые творцы. Игры, в которые играют боги. // Популярная механика, №06. 2005. http://www.popmech.ru/part/print.php?articleid=259&rubricid=3