 
        
        - •Г. Г. Малинецкий1. Размышления о немыслимом
- •Глобальная неустойчивость
- •Психологический дискурс
- •Проблема инструмента
- •В погоне за предвестниками
- •4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба.
- •4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются.
- •4.4. На обсуждении многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно.
- •4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба.
- •Н. Бостром. Вводное слово
- •Предисловие
- •Термины
- •Введение
- •Часть 1. Анализ Рисков Глава 1. Общие замечания
- •1.1 Пространство возможностей
- •1.2 Рассматриваемый промежуток времени: XXI век
- •1.3 Проблемы вычисления вероятностей различных сценариев
- •1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
- •1.5 Глобальные катастрофы и горизонт прогнозирования
- •1.6 Краткая история исследований вопроса
- •1.7 Угрозы менее масштабных катастроф: уровни возможной деградации
- •1.8 Однофакторные сценарии глобальной катастрофы
- •1.9 Принципы классификации глобальных рисков
- •Глава 2. Атомное оружие
- •2.1 «Ядерная зима»
- •2.2 Полное радиоактивное заражение
- •2.3 Иные опасности атомного оружия Сверхбомба
- •Накопление антиматерии
- •Дешёвая бомба
- •Атака на радиационные объекты
- •Взрыв мощных бомб в космосе
- •2.4 Интеграция поражающих факторов ядерного оружия
- •2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации
- •2.6 Вероятность глобальной катастрофы, вызванной ядерным оружием
- •2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени
- •2.8 Стратегия сдерживания под вопросом
- •2.9 Ядерный терроризм как фактор глобальной катастрофы
- •2.10. Выводы по рискам применения ядерного оружия
- •Глава 3. Глобальное химическое заражение
- •Глава 4. Биологическое оружие
- •4.1 Общие соображения и основные сценарии
- •4.2 Структура биологической катастрофы
- •4.3 «Саморазмножающейся» синтезатор днк
- •4.4 Множественный биологический удар
- •4.5 Биологические средства доставки
- •4.6 Вероятность применения биологического оружия и её распределение во времени
- •Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека
- •5.1. Воздействие на центр удовольствия и новые технологии
- •5.2 Риски, связанные с самокопирующимися идеями (мемами)
- •5.3. Риски, связанные с размыванием границ между человеческим и нечеловеческим
- •5.4. Риски, связанные с проблемой «философского зомби»84
- •Глава 6. Искусственный интеллект
- •6.1. Общее описание проблемы
- •6.2 Ии как универсальное абсолютное оружие
- •6.3 Система целей
- •6.4 Борьба ии-проектов между собой
- •6.5 «Усовершенствованный человек»
- •6.6 Ии и его отдельные экземпляры
- •6.7 «Бунт» ии
- •6.8 Скорость старта
- •6.9 Сценарии «быстрого старта»
- •6.10 Медленный старт и борьба разных ии между собой
- •6.11 Плавный переход. Превращение государства тотального контроля в ии
- •6.12 «Восстание» роботов
- •6.13 Контроль и возможность истребления
- •6.14 Ии и государства
- •6.15 Вероятность катастрофы, связанной с ии
- •6.16 Другие риски, связанные с компьютерами
- •6.17 Время возникновения ии
- •Глава 7. Риски, связанные с роботами и нанотехнологиями
- •7.1 Проблема создания микроскопических роботов и нанотехнологии
- •7.2 Робот-распылитель
- •7.3 Самовоспроизводящийся робот
- •7.4 Стая микророботов
- •Армии крупных боевых роботов, выходящие из-под контроля
- •7.6 Миниатюризация роботов – путь к нанотехнологическому оружию
- •7.7 Неограниченное распространение самовоспроизводящихся нанороботов
- •7.8 Вероятность возникновения нанороботов и возможное время для этого события
- •Глава 8. Технологические способы провоцирования природных катастроф
- •8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел
- •8.2 Отклонение астероидов
- •8.3 Создание искусственного сверхвулкана
- •8.4 Намеренное разрушение озонового слоя
- •Глава 9. Технологические риски, связанные с принципиально новыми открытиями
- •9.1 Неудачный физический эксперимент
- •9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия
- •Глава 10. Риски, создаваемые космическими технологиями
- •10.1 Атака на землю с помощью космического оружия
- •10.2 Ксенобиологические риски
- •10.3 Столкновение с превосходящими нас разумными силами во Вселенной
- •Глава 11. Риски, связанные с программой seti
- •11.1 История вопроса
- •11.2 Сценарий возможной атаки
- •11.3 Анализ возможных целей атаки
- •11.4 Анализ возможных возражений
- •11.5 Выводы о рисках seti -атаки
- •Глава 12. Риски, связанные с природными катастрофами
- •12.1 Вселенские катастрофы
- •12.2 Геологические катастрофы
- •12.3 Извержения сверхвулканов
- •12.4 Падение астероидов
- •12.5 Зона поражения в зависимости от силы взрыва
- •12.6 Солнечные вспышки и увеличение светимости
- •12.7 Гамма-всплески
- •12.8 Сверхновые звёзды
- •12.9 Сверх-цунами
- •12.10 Сверх-землетрясение
- •12.11 Переполюсовка магнитного поля Земли
- •12.12 Возникновение новой болезни в природе
- •Глава 13. Крайне маловероятные природные риски
- •13.1. Неизвестные процессы в ядре Земли
- •13.2. Внезапная дегазация растворённых в мировом океане газов
- •13.3. Нарушение стабильности Земной атмосферы
- •13.4. Взрывы других планет солнечной системы
- •13.5. Немезида
- •13.6 Ложные и опровергнутые теории глобальных катастроф.
- •Глава 14. Природные катастрофы и эффект наблюдательной селекции
- •14.1. Прекращение действия «защиты», которую нам обеспечивал антропный принцип
- •14.2. Ослабление устойчивости природных процессов и человеческие вмешательства
- •Глава 15. Глобальное потепление
- •Глава 16. Антропогенные риски, не связанные с новыми технологиями
- •16.1 Исчерпание ресурсов
- •16.2 Перенаселение
- •16.3 Крах биосферы
- •16.4 Социально-экономический кризис. Война
- •16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
- •16.6 Старение вида
- •16.7 Вытеснение другим биологическим видом
- •16.8 Неизвестные нам сейчас причины катастроф
- •Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы
- •17.1. Общие признаки любого опасного агента
- •17.2. Способы возникновения
- •17.3. Выход из точки и начало распространения
- •17.4. Распространение важнее разрушения
- •17.5. Способ распространения
- •17.6. Способ причинения смерти
- •17.7. Типичные виды разрушающего воздействия
- •17.8. Временная структура события
- •17.9. Предаварийные ситуации
- •17.10. Намеренная и случайная глобальная катастрофа
- •17.11. Машина судного дня
- •Глава 18. Многофакторные сценарии
- •18.1. Интеграция различных технологий, создающие ситуации риска
- •18.2. Парные сценарии
- •18.3. Изучение глобальных катастроф с помощью моделей и аналогий
- •18.4. Неизбежность достижения устойчивого состояния
- •18.5. Рекуррентные риски
- •18.6. Глобальные риски и проблема темпа их нарастания
- •18.7. Сравнительная сила разных опасных технологий
- •18.8. Последовательность возникновения различных технологий во времени
- •18.9. Сопоставление различных технологических рисков
- •18.10. Цели создания оружия судного дня
- •18.11 Социальные группы, готовые рискнуть судьбой планеты
- •18.12. Обобщающий коэффициент, связанный с человеческим фактором
- •18.13. Принятие решения о ядерном ударе
- •18.14. Цена вопроса
- •18.15 Универсальные причины вымирания цивилизаций.
- •Глава 19. События, изменяющие вероятность глобальной катастрофы.
- •19.1. Определение и общие соображения
- •19.2. События, которые могут открыть окно уязвимости
- •19.3. Системные кризисы
- •19.4. Кризис кризисов
- •19.5. Технологическая Сингулярность
- •19.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов
- •19.7. Системный кризис и технологические риски
- •19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы
- •19.9. Криптовойна
- •19.10. Уязвимость к сверхмалым воздействиям
- •19.11. Гонка вооружений
- •19.12. Моральная деградация
- •19.13. Враждебность в обществе как сценарный фактор
- •19.14. Месть как сценарный фактор
- •19.15. Война как сценарный фактор
- •19.16. Деградация биосферы
- •19.17. Глобальная дезинфекция
- •19.18. «Раскачивающее» управление
- •19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
- •19.20. Общие модели поведения систем на грани устойчивости
- •19.21. Гипотеза техногуманитарного баланса
- •19.22. Схемы сценариев
- •19.23. Степень мотивации и осведомленности лиц, принимающих решения, как факторы глобального риска
- •19.24 Означает ли крах технологической цивилизации вымирание людей.
- •Глава 20. Факторы, влияющие на скорость прогресса
- •20.2. Закон Мура
- •Глава 21. Защита от глобальных рисков
- •21.1. Общее понятие о предотвратимости глобальных рисков
- •21.2. Активные щиты
- •21.3. Действующие и будущие щиты
- •21.4. Сохранение мирового баланса сил
- •21.5. Возможная система контроля над глобальными рисками
- •21.6. Сознательная остановка технологического прогресса
- •21.7. Средства превентивного удара
- •21.8. Удаление источников рисков на значительное расстояние от Земли
- •21.9. Создание автономных поселений в отдалённых уголках Земли
- •21.10. Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики
- •21.11. Убежища и бункеры
- •21.12. Опережающее расселение в космосе
- •21.13 «Всё как-нибудь обойдётся»
- •21.14 Деградация цивилизации до уровня устойчивого состояния
- •21.15 Предотвращение одной катастрофы с помощью другой
- •21.16 Опережающая эволюция человека
- •21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы
- •21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания
- •21.19 Предположения о том, что мы живём в «Матрице».
- •21.20 Глобальные катастрофы и устройство общества
- •21.21 Глобальные катастрофы и текущая ситуация в мире
- •21.22 Мир после глобальной катастрофы
- •21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
- •Максимализация функции удовольствия.
- •Глава 22. Непрямые способы оценки вероятности глобальной катастрофы
- •22.1. Закон Парето
- •22.2. Гипотеза о «Чёрной королеве»
- •22.3. Парадокс Ферми
- •22.4. Теорема о Конце света - «Doomsday argument». Формула Готта
- •22.5. Рассуждение о конце света Картера-Лесли
- •22.6. Непрямая оценка вероятности природных катастроф
- •22.7 Рассуждение о Симуляции
- •22.8. Интеграция различных непрямых оценок
- •Глава 23. Наиболее вероятный сценарий глобальной катастрофы
- •Часть 2. Методология анализа глобальных рисков Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа
- •Глава 2. Ошибки, возможные только относительно угроз существованию человечества
- •1. Путаница относительно глобальных катастроф и просто очень больших катастроф
- •2. Недооценка неочевидных рисков
- •3. Глобальные риски нетождественны национальной безопасности
- •4. Ошибка, связанная с психологизацией проблемы
- •5. Отождествление глобальной катастрофы со смертью всех людей и наоборот
- •6. Стереотип восприятия катастроф, который сложился в результате работы сми
- •7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила
- •8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»
- •9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти
- •10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания
- •11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов
- •12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество
- •13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски
- •14. Особенность связи теоретического и практического в отношении глобальных рисков
- •15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения
- •16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему
- •17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти
- •18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию
- •19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно
- •20. Гордыня исследователя
- •21. Интуиция как источник ошибок в мышлении о глобальных рисках
- •22. Научное исследование глобальных рисков также сталкивается с рядом проблем
- •23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска
- •24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам
- •25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта
- •26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему
- •27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»
- •28. Преувеличение прогностической ценности экстраполяции
- •29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света
- •30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска
- •31. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей
- •32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной
- •33. Недооценка системных факторов глобального риска
- •34. Призыва типа: «Мы все должны бороться за мир»
- •35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы
- •36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»
- •41. Неспособность человека представить свою собственную смерть
- •42. Подход к жизни в духе: «После нас хоть потоп»
- •43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели
- •44. Религиозные мировоззрения и эсхатологические культы
- •45. Неопределённость значений новых терминов
- •Глава 3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков
- •1. Основной причиной человеческих ошибок является сверхуверенность
- •2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых
- •7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения
- •8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности
- •9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе
- •10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться
- •11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах
- •12. Представления о том, что мышление о глобальных рисках – пессимистично
- •13. «Теории заговора» как препятствие для научного анализа глобальных рисков
- •14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов
- •15. Особенности человеческой эмоции страха
- •16. Недооценка значения удалённых событий (discount rate)
- •17. Сознательное нежелание знать неприятные факты
- •18. Эффект смещения внимания.
- •19. Интернет как источник возможных ошибок
- •20. Верования
- •21. Врождённые страхи
- •22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске
- •23. Трудность в определении границ собственного знания
- •24. Юмор как фактор возможных ошибок
- •25. Паника
- •26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок
- •27. Склонность людей бороться с опасностями, которые уже были в прошлом
- •28. Усталость от ожидания катастрофы
- •29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности
- •30. Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта
- •31. Недооценка или переоценка нашей способности противостоять глобальным рискам
- •32. Стокгольмский синдром
- •33. За ошибками оператора стоит неправильная подготовка
- •34. Группа людей может принимать худшие решения, чем каждый человек в отдельности
- •35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок
- •36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо
- •37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»)
- •38. Эффект избирательности внимания
- •39. Подсознательное желание катастрофы
- •40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса
- •41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа
- •42. Логическая ошибка генерализации на основании художественного вымысла
- •43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества
- •44. Секретность как источник ошибок в управлении рисками
- •45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
- •46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
- •47. Недооценка человеческого фактора
- •48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •49. Статистика как источник возможных ошибок
- •50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты
- •51. Двойная ошибка
- •52. Анализ глобальных рисков не есть создание прогнозов
- •53. Иллюзия знания задним числом
- •54. Эффект настройки на источники информации
- •55. Принятие малого процесса за начало большой катастрофы
- •56. Более простое объяснение катастрофы подменяет более сложное
- •57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования
- •58. Стремление людей установить некий приемлемый для них уровень риска
- •59. Эффект «сверхуверенности молодого профессионала»
- •60. Ощущение неуязвимости у выживших
- •61. Переоценка собственных профессиональных навыков.
- •62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной
- •63. Усталость исследователя
- •64. Страх потери социального статуса исследователями
- •65. Количество внимания, которое общество может уделить рискам, конечно
- •66. Пренебрежение экономикой
- •67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит
- •68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей
- •69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав
- •70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
- •71. Ошибка, связанная с неправильной корреляцией силы и безопасности
- •72. Преждевременные инвестиции
- •73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов
- •74. Апатия прохожего
- •75. Потребность в завершении
- •76. Влияние авторитета и социальное давление группы
- •77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»
- •78. Ошибка, связанная с интеллектуальной проекцией
- •79. Представление о том, что изменять обстоятельства следует, уничтожая их причины
- •80. Забвение основного принципа медицины – «Не навреди!»
- •81. Путаница между объективными и субъективными врагами
- •86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта
- •87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую
- •88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки
- •89. Отказ рассматривать некий сценарий по причине его «невероятности»
- •90. Переход от обмана к самообману
- •91. Переоценка собственных возможностей вообще и выживаемости в частности
- •92. Стремление к прекрасному будущему, заслоняющее восприятие рисков
- •93. Фильтры, мешающие поступлению информации к руководству
- •94. Любопытство может оказаться сильнее страха смерти
- •95. Система и регламент
- •96. Эффект «стрелочника»
- •97. Минимальный воспринимаемый риск
- •98. Отвержение новых идей
- •99. Воздействие эмоциональной реакции шока
- •100. Проблемы отбора экспертов
- •101. Вина и ответственность как факторы предотвращения рисков
- •102. Недооценка сил инерции как фактора устойчивости систем
- •103. Мнения, обусловленные мировоззрением
- •104. Борьба за научный приоритет
- •105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы
- •106. Систематическая ошибка, связанная с эгоцентричностью
- •107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий
- •107. Зависимость реакции от скорости изменения величины
- •Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках
- •1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте
- •2. Подмена анализа возможностей анализом целей
- •3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго
- •4. Мышление, обусловленное желанием нечто доказать
- •5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов
- •6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит
- •7. Использование так называемого «авторитетного знания»
- •8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана
- •9. Восприятие новой информации через призму старой
- •10. Ошибка в выборе нейтральной позиции
- •11. Уверенность как источник ошибок
- •12. Использование полностью ошибочной логики
- •13. Смешение преднауки и псевдонауки
- •14. Ошибка, связанная с неправильным определением статуса «универсалий»
- •15. Утверждения о возможности чего-то и невозможности неравносильны
- •16. Очевидности как источник ошибок
- •17. Недооценка собственной ошибочности
- •18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину
- •24. Санкт-Петербургский парадокс
- •Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта
- •1. Разброс мнений по вопросу о безопасности ии означает отсутствие реальных доказательств безопасности
- •2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •3. Ошибки в критике ии Пенроузом
- •4. Представление о том, что 3-х законов робототехники а.Азимова достаточно, чтобы решить все проблемы с безопасностью ии
- •5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует
- •6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ии
- •7. Ошибочные представления о том, что ии – это разные конкретные приложения, вроде техники распознания образов
- •14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем
- •15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ии будет работать очень медленно
- •16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ии, и поэтому Ии не представляет никакой угрозы
- •17. Ошибочное представление о том, что ии невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически
- •18. Ошибочное представление о том, что ии будет примерно такой же умный, как и человек
- •19. Ошибочное представление о том, что ии будет равноправным сотрудником человека с теми же возможностями и правами
- •20. Ошибочное представление о том, что ии будет много
- •21. Различия в понимании того, что, собственно, является интеллектом
- •22. Ошибочное однозначное отождествление ии с отдельным объектом
- •23. Ошибочное представление о том, что достаточно спрятать ии в «чёрный ящик», чтобы он стал безопасен
- •24. Ошибочное возражение следующего рода: «в Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ии невозможен»
- •25. Ошибочное представление о том, что ии надо дать команду X (подставить нужное), и всё будет в порядке
- •26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»
- •12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий
- •13. Наша склонность ожидать грандиозных результатов только от грандиозных причин
- •14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил
- •15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов
- •16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом
- •Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков
- •Открытая дискуссия как точка отсчёта
- •2. Принцип предосторожности
- •Заключение. Перспективы предотвращения глобальных катастроф
- •Литература
- •Приложение. Таблица катастроф
- •Примечания:
Литература
- Blair Bruce G. The Logic of Accidental Nuclear War. Brookings Institution Press, 1993. 
- Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (Русский перевод: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html ) 
- Bostrom N. Antropic principle in science and philosophy. L., 2003. 
- Bostrom N. Are You Living In a Computer Simulation?. // Philosophical Quarterly, 2003, Vol. 53, No. 211, pp. 243-255., http://www.simulation-argument.com/, (Русский сокращённый перевод: http://alt-future.narod.ru/Future/bostrom3.htm ) 
- Bostrom, N. and M. Cirkovic eds. Global Catastrophic Risks. Oxford University Press. 2008. 
- Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. // Journal of Evolution and Technology, 9. 2001. (Русский перевод: Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ.: http://www.proza.ru/texts/2007/04/04-210.html) 
- Bostrom, N. How Long Before Superintelligence? // International Journal of Futures Studies, 2. 1998. URL: http://www.nickbostrom.com/superintelligence.html. 
- Bostrom, N. Observer-relative chances in anthropic reasoning? // Erkenntnis, 52, 93-108. 2000. URL: http://www.anthropic-principle.com/preprints.html. 
- Bostrom, N. The Doomsday Argument is Alive and Kicking. // Mind, 108 (431), 539-550. 1999. URL: http://www.anthropic-principle.com/preprints/ali/alive.html. 
- Bostrom, N. The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. // Synthese, 127(3), 359-387. 2001. URL: http://www.anthropic-principle.com. 
- Cirkovic Milan M., Richard Cathcart. Geo-engineering Gone Awry: A New Partial Solution of Fermi's Paradox. // Journal of the British Interplanetary Society, vol. 57, pp. 209-215, 2004. 
- Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004. 
- Collar J.I. Biological Effects of Stellar Collapse Neutrinos. // Phys.Rev.Lett. 76, 1996, 999-1002 URL:http://arxiv.org/abs/astro-ph/9505028 
- Dar, A. et al. Will relativistic heavy-ion colliders destroy our planet? // Physics Letters, B 470, 142-148. 1999. 
- Dawes, R.M. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich, 1988. 
- Diamond Jared. Collapse: How Societies Choose to Fail or Succeed. Viking Adult, 2004. 
- Drexler, K.E. Dialog on Dangers. Foresight Background 2, Rev. 1. 1988. URL: http://www.foresight.org/Updates/Background3.html. 
- Drexler, K.E. Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. 1985. URL: http://www.foresight.org/EOC/index.html. 
- Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. // Journal of Risk and Uncertainty, 14: 238-300. 1997. 
- Foresight Institute. Foresight Guidelines on Molecular Nanotechnology, Version 3.7. 2000. URL: http://www.foresight.org/guidelines/current.html. 
- Forrest, D. Regulating Nanotechnology Development. 1989. URL: http://www.foresight.org/NanoRev/Forrest1989.html. 
- Freitas (Jr.), R.A. A Self-Reproducing Interstellar Probe. // J. Brit. Interplanet. Soc., 33, 251-264. 1980. 
- Freitas (Jr.), R.A. Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html. (Русский перевод: Р.Фрейтас. Проблема серой слизи. http://www.proza.ru/texts/2007/11/07/59.html) 
- Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003. 
- Gold, R.E. SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999. 
- Gott J. R. III. Implications of the Copernican principle for our future prospects. // Nature, 363, 315–319, 1993. 
- Gubrud, M. Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. 2000. URL: http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html. 
- Hanson R. Catastrophe, Social Collapse, and Human Extinction // Global Catastrophic Risks, ed. Nick Bostrom. 2008. http://hanson.gmu.edu/collapse.pdf 
- Hanson, R. Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. 1998. URL: http://hanson.gmu.edu/workingpapers.html. 
- Hanson, R. et al. A Critical Discussion of Vinge's Singularity Concept. // Extropy Online. 1998. URL: http://www.extropy.org/eo/articles/vi.html. 
- Hanson, R. What If Uploads Come First: The crack of a future dawn. // Extropy, 6(2). 1994. URL: http://hanson.gmu.edu/uploads.html. 
- http://www.acceleratingfuture.com/michael/blog/?p=539 
- http://www.proza.ru/texts/2007/05/14-31.html 
- Jackson, R.J. et al. Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. 2001. Journal of Virology, 73, 1479-1491. 
- Joy, B. Why the future doesn't need us. // Wired, 8.04. 2000. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html. 
- Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press, 2000. 
- Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. NY, Cambridge University Press, 1982. 
- Knight, L.U. The Voluntary Human Extinction Movement. 2001. URL: http://www.vhemt.org/. 
- Knobe Joshua, Ken D. Olum and Alexander Vilenkin. Philosophical Implications of Inflationary Cosmology. // British Journal for the Philosophy of Science Volume 57, Number 1, March 2006, pp. 47-67(21) http://philsci-archive.pitt.edu/archive/00001149/00/cosmology.pdf 
- Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989. 
- Kurzweil, R. The Age of Spiritual Machines: When computers exceed human intelligence. NY, Viking. 1999. 
- Leslie J. The End of the World: The Science and Ethics of Human Extinction. 1996. 
- Leslie, J. Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15. 1989. 
- Mason C. The 2030 Spike: Countdown to Global Catastrophe. 2003. 
- Melott, B. Lieberman, C. Laird, L. Martin, M. Medvedev, B. Thomas. Did a gamma-ray burst initiate the late Ordovician mass extinction? // arxiv.org/abs/astro-ph/0309415, (Русский перевод: Гамма-лучи могли вызвать на Земле ледниковый период. http://www.membrana.ru/articles/global/2003/09/25/200500.html 
- Merkle, R.. The Molecular Repair of the Brain. Cryonics, 15 (1 and 2). 1994. 
- Michael Foote, James S. Crampton, Alan G. Beu, Bruce A. Marshall, Roger A. Cooper, Phillip A. Maxwell, Iain Matcham. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks // Science. V. 318. P. 1131–1134. 2007. 
- Milgrom Paul, Nancy Stokey. Information, trade and common knowledge. // Journal of Economic Theory, Volume 26:1, pp. 17-27. 1982. 
- Moravec, H. Mind Children: The Future of Robot and Human Intelligence, 1988. 
- Moravec, H. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press. 1999. 
- Moravec, H. When will computer hardware match the human brain? // Journal of Transhumanism, 1. 1998. URL: http://www.transhumanist.com/volume1/moravec.htm. 
- Morgan, M.G. Categorizing Risks for Risk Ranking. // Risk Analysis, 20(1), 49-58. 2000. 
- Neil Gehrels, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // Astrophysical Journal 585: 1169–1176. Retrieved on 2007-02-01. http://xxx.lanl.gov/abs/astro-ph/0211361 
- Nowak, R. Disaster in the making. // New Scientist, 13 January 2001. 2001. URL: http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html. 
- Perrow, Charles. Normal Accidents: Living with High-Risk Technologies. Princeton University Press. 1999. 
- Posner Richard A. Catastrophe: Risk and Response. Oxford University Press, 2004. 
- Powell, C. 20 Ways the World Could End. Discover, 21(10). 2000. URL: http://www.discover.com/oct_00/featworld.html. 
- Raffensberger C, Tickner J (eds.) Protecting Public Health and the Environment: Implementing the Precautionary Principle. Island Press, Washington, DC, 1999. 
- Robock, Alan, Luke Oman, и Georgiy L. Stenchikov: Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences. // J. Geophys. Res., 112, D13107, doi:2006JD008235. 2007. (русский перевод: http://climate.envsci.rutgers.edu/pdf/RobockNW2006JD008235Russian.pdf ) 
- Roland Jon. Nuclear Winter and Other Scenarios, 1984. рукопись. http://www.pynthan.com/vri/nwaos.htm 
- Ross, M. & Sicoly, F. Egocentric biases in availability and attribution. // Journal of Personality and Social Psychology 37, 322-336. 1979. 
- Shute, N. On the Beach. Ballentine Books. 1989. 
- Simmons Matthew R. Twilight in the Desert: The Coming Saudi Oil Shock and the World Economy. NY, 2005. 
- Sir Martin Rees. Our final hour. NY, 2003. 
- Stevenson David. A Modest Proposal: Mission to Earth’s Core. // Nature 423, 239-240 2003. 
- Svenson, O. Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148. 1981. 
- Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? NY, Random House, 2005. 
- Tegmark M. The interpretation of quantum mechanics: many worlds or many words? // Fortschr. Phys. 46, 855-862. 1998 http://arxiv.org/pdf/quant-ph/9709032 
- Tickner, J. et al. The Precautionary Principle. 2000. URL: http://www.biotech-info.net/handbook.pdf. 
- Turner, M.S., & Wilczek, F. Is our vacuum metastable? Nature, August 12, 633-634. 1982. 
- Vinge, V. The Coming Technological Singularity. Whole Earth Review, Winter issue. 1993. 
- Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. NY, 2000. 
- Warwick, K. March of the Machines. London: Century. 1997. 
- Whitby, B. et al. How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. 2000. http://www.informatics.sussex.ac.uk/users/blayw/BlayAISB00.html 
- Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008. (Русский перевод: Е.Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html) 
- Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008 (Русский перевод: Е.Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html ) 
- Yudkowsky, E. Creating Friendly AI 1.0. 2001. URL: http://www.singinst.org/upload/CFAI.html. 
- Абрамян Е.А. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. М., Терика, 2006. 
- Азимов А. Выбор катастроф. М., Амфора, 2002. 
- Александровский г. бегство от умирающего солнца. // наука и жизнь, №08, 2001. http://nauka.relis.ru/05/0108/05108042.htm 
- Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991. 
- Анисимов А. Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США // Россия XX. № 4. № 5. 2002. http://ecc.ru/XXI/RUS_21/ARXIV/2002/anisimov_2002_4.htm 
- Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998. 
- Архипов А.В. Археологический аспект исследований Луны // Астрономический вестник. 1994. Т.28. N4-5.- С.211-214. см. http://www.arracis.com.ua/moon/m312.html 
- Бестужев-Лада И. Человечество обречено на вымирание, Московский комсомолец, май, 2006. 
- Биндеман И. тайная жизнь супервулканов. // В мире науки. N 10. 200 
- Бобылов Ю. Генетическая бомба. Тайные сценарии биотерроризма. Белые Альвы, 2006. 
- Брин Д. Сингулярность и кошмары. Nanotechnology Perceptions: A Review of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006. 
- Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985 
- Воробьёв, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6. 
- Владимиров В.А., Малинецкий Г.Г., Потапов А.Б. и др. Управление риском. Риск, устойчивое развитие, синергетика. М., Наука, 2000 
- Геворкян С.Г., Геворкян И.С. Преднамеренные антропогенные экологические катастрофы. // Эволюция, , №3. 2006. 
- Данилов-Данильян В.И., Лосев К.С., Рейф И.Е. Перед главным вызовом цивилизации. Взгляд из России. 
- Докинз Р. Эгоистичный ген. М., Мир, 1993. 
- Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // Журнал технической физики, том 69, вып. 9. 1999. 
- Дядин Ю. А., Гущин А. Л. Газовые гидраты и климат земли. // Соросовский Образовательный Журнал, N3, 1998. 
- Ергин Дэниел. Добыча. Всемирная история борьбы за нефть, деньги и власть. М. 2003. 
- Еськов К.Ю. История Земли и жизни на ней. М., НЦ ЭНАС, 2004. 
- Израэль Ю.А. Экологические последствия возможной ядерной войны. // Метеорология и гидрология, 1983, №10. 
- Капица С., Курдюмов С., Малинецкий Г., Синергетика и прогнозы будущего. М., 2001. 
- Карнаухов А.В. К вопросу об устойчивости химического баланса атмосферы и теплового баланса земли. // Биофизика, том 39, вып. 1. 1994. 
- Карпан Н.. Атомной энергетике не отмыться от Чернобыля. // Зеркало недели. №13 (592) 8-14 апреля 2006 http://pripyat.com/ru/publications/2006/04/08/750.html 
- Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, №6. 1998. 
- Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, №2 2006. (Совместно с О.В. Степаносовой). 
- Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). М., Аспект Пресс, 2003. 
- Красилов В.А. Модель биосферных кризисов. // Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm 
- Куркина Е.С. Конец режимов с обострением. Коллапс цивилизации. Доклад. http://spkurdyumov.narod.ru/kurkinaes.htm 
- Лем С. О невозможности прогнозирования. Собрание сочинений, т.10. М., "Текст", 1995. 
- Лем С. Сумма технологий, 1963. 
- Лем С. Фантастика и футурология, 1970. 
- МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. СПб., Речь, 2001. 
- марков а.в. Возвращение черной королевы, или закон роста средней продолжительности существования родов в процессе эволюции. // Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm. 
- Медведев Данила. Конвергенция технологий как фактор эволюции. http://www.transhumanism-russia.ru/content/view/317/116/ // в сб. Диалоги о будущем. М., 2008. 
- Медоуз Д.и др. Пределы роста, 1972. 
- Моисеев Н. Судьба цивилизации. М., Путь разума, 1998 
- Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. М., 2001. 
- Онищенко Г. Биотерроризм, ВАН, т. 73, № 3, 2003 
- Оруэлл Дж. 1984. L. 1948. 
- Панов А.Д. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. // Вселенная, пространство, время. № 2, 2004. http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html 
- Пенроуз Р. Новый ум короля. О компьютерах, мышлении и законах физики. М., УРСС, 2005. 
- Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996. 
- Росс Л., Нисбетт Р. Человек и ситуация: Уроки социальной психологии. Аспект Пресс, М., 1999. http://evolkov.iatp.ru/social_psychology/Ross_L_Nisbett_R/index.html 
- Сорос Дж. Кризис мирового капитализма. Открытое общество в опасности. Пер. с англ. М., ИНФРА-М, 1999. 
- Сорохтин О.Г., Ушаков С.А. Развитие Земли. М., Изд-во МГУ, 2002. 
- Сывороткин В.Л.. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, М., 2001. 
- Тофлер, Э. Шок будущего. М., АСТ, 2002. 
- Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М., КомКнига, 2007. 
- Турчин А.В. Природные катастрофы и антропный принцип. // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М., КомКнига, 2007. 
- Фон Нейман, Дж. Теория самовоспроизводящихся автоматов. М., Мир, 1971. 
- Фукуяма Ф. Наше постчеловеческое будущее. Последствия биотехнологической революции, 2002. 
- Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира. // Природа, № 6. 2004. 
- Чирков Ю. Ожившие химеры. М., 1989. 
- Шафмейстер Х. Молекулярный конструктор. // В мире науки, №9, 2007. 
- Шкловский и.с. звёзды. Их рождение, жизнь и смерть. М., Наука, 1984. 
- Юдина А. Новые творцы. Игры, в которые играют боги. // Популярная механика, №06. 2005. http://www.popmech.ru/part/print.php?articleid=259&rubricid=3 
