- •Г. Г. Малинецкий1. Размышления о немыслимом
 - •Глобальная неустойчивость
 - •Психологический дискурс
 - •Проблема инструмента
 - •В погоне за предвестниками
 - •4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба.
 - •4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются.
 - •4.4. На обсуждении многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно.
 - •4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба.
 - •Н. Бостром. Вводное слово
 - •Предисловие
 - •Термины
 - •Введение
 - •Часть 1. Анализ Рисков Глава 1. Общие замечания
 - •1.1 Пространство возможностей
 - •1.2 Рассматриваемый промежуток времени: XXI век
 - •1.3 Проблемы вычисления вероятностей различных сценариев
 - •1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
 - •1.5 Глобальные катастрофы и горизонт прогнозирования
 - •1.6 Краткая история исследований вопроса
 - •1.7 Угрозы менее масштабных катастроф: уровни возможной деградации
 - •1.8 Однофакторные сценарии глобальной катастрофы
 - •1.9 Принципы классификации глобальных рисков
 - •Глава 2. Атомное оружие
 - •2.1 «Ядерная зима»
 - •2.2 Полное радиоактивное заражение
 - •2.3 Иные опасности атомного оружия Сверхбомба
 - •Накопление антиматерии
 - •Дешёвая бомба
 - •Атака на радиационные объекты
 - •Взрыв мощных бомб в космосе
 - •2.4 Интеграция поражающих факторов ядерного оружия
 - •2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации
 - •2.6 Вероятность глобальной катастрофы, вызванной ядерным оружием
 - •2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени
 - •2.8 Стратегия сдерживания под вопросом
 - •2.9 Ядерный терроризм как фактор глобальной катастрофы
 - •2.10. Выводы по рискам применения ядерного оружия
 - •Глава 3. Глобальное химическое заражение
 - •Глава 4. Биологическое оружие
 - •4.1 Общие соображения и основные сценарии
 - •4.2 Структура биологической катастрофы
 - •4.3 «Саморазмножающейся» синтезатор днк
 - •4.4 Множественный биологический удар
 - •4.5 Биологические средства доставки
 - •4.6 Вероятность применения биологического оружия и её распределение во времени
 - •Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека
 - •5.1. Воздействие на центр удовольствия и новые технологии
 - •5.2 Риски, связанные с самокопирующимися идеями (мемами)
 - •5.3. Риски, связанные с размыванием границ между человеческим и нечеловеческим
 - •5.4. Риски, связанные с проблемой «философского зомби»84
 - •Глава 6. Искусственный интеллект
 - •6.1. Общее описание проблемы
 - •6.2 Ии как универсальное абсолютное оружие
 - •6.3 Система целей
 - •6.4 Борьба ии-проектов между собой
 - •6.5 «Усовершенствованный человек»
 - •6.6 Ии и его отдельные экземпляры
 - •6.7 «Бунт» ии
 - •6.8 Скорость старта
 - •6.9 Сценарии «быстрого старта»
 - •6.10 Медленный старт и борьба разных ии между собой
 - •6.11 Плавный переход. Превращение государства тотального контроля в ии
 - •6.12 «Восстание» роботов
 - •6.13 Контроль и возможность истребления
 - •6.14 Ии и государства
 - •6.15 Вероятность катастрофы, связанной с ии
 - •6.16 Другие риски, связанные с компьютерами
 - •6.17 Время возникновения ии
 - •Глава 7. Риски, связанные с роботами и нанотехнологиями
 - •7.1 Проблема создания микроскопических роботов и нанотехнологии
 - •7.2 Робот-распылитель
 - •7.3 Самовоспроизводящийся робот
 - •7.4 Стая микророботов
 - •Армии крупных боевых роботов, выходящие из-под контроля
 - •7.6 Миниатюризация роботов – путь к нанотехнологическому оружию
 - •7.7 Неограниченное распространение самовоспроизводящихся нанороботов
 - •7.8 Вероятность возникновения нанороботов и возможное время для этого события
 - •Глава 8. Технологические способы провоцирования природных катастроф
 - •8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел
 - •8.2 Отклонение астероидов
 - •8.3 Создание искусственного сверхвулкана
 - •8.4 Намеренное разрушение озонового слоя
 - •Глава 9. Технологические риски, связанные с принципиально новыми открытиями
 - •9.1 Неудачный физический эксперимент
 - •9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия
 - •Глава 10. Риски, создаваемые космическими технологиями
 - •10.1 Атака на землю с помощью космического оружия
 - •10.2 Ксенобиологические риски
 - •10.3 Столкновение с превосходящими нас разумными силами во Вселенной
 - •Глава 11. Риски, связанные с программой seti
 - •11.1 История вопроса
 - •11.2 Сценарий возможной атаки
 - •11.3 Анализ возможных целей атаки
 - •11.4 Анализ возможных возражений
 - •11.5 Выводы о рисках seti -атаки
 - •Глава 12. Риски, связанные с природными катастрофами
 - •12.1 Вселенские катастрофы
 - •12.2 Геологические катастрофы
 - •12.3 Извержения сверхвулканов
 - •12.4 Падение астероидов
 - •12.5 Зона поражения в зависимости от силы взрыва
 - •12.6 Солнечные вспышки и увеличение светимости
 - •12.7 Гамма-всплески
 - •12.8 Сверхновые звёзды
 - •12.9 Сверх-цунами
 - •12.10 Сверх-землетрясение
 - •12.11 Переполюсовка магнитного поля Земли
 - •12.12 Возникновение новой болезни в природе
 - •Глава 13. Крайне маловероятные природные риски
 - •13.1. Неизвестные процессы в ядре Земли
 - •13.2. Внезапная дегазация растворённых в мировом океане газов
 - •13.3. Нарушение стабильности Земной атмосферы
 - •13.4. Взрывы других планет солнечной системы
 - •13.5. Немезида
 - •13.6 Ложные и опровергнутые теории глобальных катастроф.
 - •Глава 14. Природные катастрофы и эффект наблюдательной селекции
 - •14.1. Прекращение действия «защиты», которую нам обеспечивал антропный принцип
 - •14.2. Ослабление устойчивости природных процессов и человеческие вмешательства
 - •Глава 15. Глобальное потепление
 - •Глава 16. Антропогенные риски, не связанные с новыми технологиями
 - •16.1 Исчерпание ресурсов
 - •16.2 Перенаселение
 - •16.3 Крах биосферы
 - •16.4 Социально-экономический кризис. Война
 - •16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
 - •16.6 Старение вида
 - •16.7 Вытеснение другим биологическим видом
 - •16.8 Неизвестные нам сейчас причины катастроф
 - •Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы
 - •17.1. Общие признаки любого опасного агента
 - •17.2. Способы возникновения
 - •17.3. Выход из точки и начало распространения
 - •17.4. Распространение важнее разрушения
 - •17.5. Способ распространения
 - •17.6. Способ причинения смерти
 - •17.7. Типичные виды разрушающего воздействия
 - •17.8. Временная структура события
 - •17.9. Предаварийные ситуации
 - •17.10. Намеренная и случайная глобальная катастрофа
 - •17.11. Машина судного дня
 - •Глава 18. Многофакторные сценарии
 - •18.1. Интеграция различных технологий, создающие ситуации риска
 - •18.2. Парные сценарии
 - •18.3. Изучение глобальных катастроф с помощью моделей и аналогий
 - •18.4. Неизбежность достижения устойчивого состояния
 - •18.5. Рекуррентные риски
 - •18.6. Глобальные риски и проблема темпа их нарастания
 - •18.7. Сравнительная сила разных опасных технологий
 - •18.8. Последовательность возникновения различных технологий во времени
 - •18.9. Сопоставление различных технологических рисков
 - •18.10. Цели создания оружия судного дня
 - •18.11 Социальные группы, готовые рискнуть судьбой планеты
 - •18.12. Обобщающий коэффициент, связанный с человеческим фактором
 - •18.13. Принятие решения о ядерном ударе
 - •18.14. Цена вопроса
 - •18.15 Универсальные причины вымирания цивилизаций.
 - •Глава 19. События, изменяющие вероятность глобальной катастрофы.
 - •19.1. Определение и общие соображения
 - •19.2. События, которые могут открыть окно уязвимости
 - •19.3. Системные кризисы
 - •19.4. Кризис кризисов
 - •19.5. Технологическая Сингулярность
 - •19.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов
 - •19.7. Системный кризис и технологические риски
 - •19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы
 - •19.9. Криптовойна
 - •19.10. Уязвимость к сверхмалым воздействиям
 - •19.11. Гонка вооружений
 - •19.12. Моральная деградация
 - •19.13. Враждебность в обществе как сценарный фактор
 - •19.14. Месть как сценарный фактор
 - •19.15. Война как сценарный фактор
 - •19.16. Деградация биосферы
 - •19.17. Глобальная дезинфекция
 - •19.18. «Раскачивающее» управление
 - •19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
 - •19.20. Общие модели поведения систем на грани устойчивости
 - •19.21. Гипотеза техногуманитарного баланса
 - •19.22. Схемы сценариев
 - •19.23. Степень мотивации и осведомленности лиц, принимающих решения, как факторы глобального риска
 - •19.24 Означает ли крах технологической цивилизации вымирание людей.
 - •Глава 20. Факторы, влияющие на скорость прогресса
 - •20.2. Закон Мура
 - •Глава 21. Защита от глобальных рисков
 - •21.1. Общее понятие о предотвратимости глобальных рисков
 - •21.2. Активные щиты
 - •21.3. Действующие и будущие щиты
 - •21.4. Сохранение мирового баланса сил
 - •21.5. Возможная система контроля над глобальными рисками
 - •21.6. Сознательная остановка технологического прогресса
 - •21.7. Средства превентивного удара
 - •21.8. Удаление источников рисков на значительное расстояние от Земли
 - •21.9. Создание автономных поселений в отдалённых уголках Земли
 - •21.10. Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики
 - •21.11. Убежища и бункеры
 - •21.12. Опережающее расселение в космосе
 - •21.13 «Всё как-нибудь обойдётся»
 - •21.14 Деградация цивилизации до уровня устойчивого состояния
 - •21.15 Предотвращение одной катастрофы с помощью другой
 - •21.16 Опережающая эволюция человека
 - •21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы
 - •21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания
 - •21.19 Предположения о том, что мы живём в «Матрице».
 - •21.20 Глобальные катастрофы и устройство общества
 - •21.21 Глобальные катастрофы и текущая ситуация в мире
 - •21.22 Мир после глобальной катастрофы
 - •21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
 - •Максимализация функции удовольствия.
 - •Глава 22. Непрямые способы оценки вероятности глобальной катастрофы
 - •22.1. Закон Парето
 - •22.2. Гипотеза о «Чёрной королеве»
 - •22.3. Парадокс Ферми
 - •22.4. Теорема о Конце света - «Doomsday argument». Формула Готта
 - •22.5. Рассуждение о конце света Картера-Лесли
 - •22.6. Непрямая оценка вероятности природных катастроф
 - •22.7 Рассуждение о Симуляции
 - •22.8. Интеграция различных непрямых оценок
 - •Глава 23. Наиболее вероятный сценарий глобальной катастрофы
 - •Часть 2. Методология анализа глобальных рисков Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа
 - •Глава 2. Ошибки, возможные только относительно угроз существованию человечества
 - •1. Путаница относительно глобальных катастроф и просто очень больших катастроф
 - •2. Недооценка неочевидных рисков
 - •3. Глобальные риски нетождественны национальной безопасности
 - •4. Ошибка, связанная с психологизацией проблемы
 - •5. Отождествление глобальной катастрофы со смертью всех людей и наоборот
 - •6. Стереотип восприятия катастроф, который сложился в результате работы сми
 - •7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила
 - •8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»
 - •9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти
 - •10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания
 - •11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов
 - •12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество
 - •13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски
 - •14. Особенность связи теоретического и практического в отношении глобальных рисков
 - •15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения
 - •16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему
 - •17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти
 - •18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию
 - •19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно
 - •20. Гордыня исследователя
 - •21. Интуиция как источник ошибок в мышлении о глобальных рисках
 - •22. Научное исследование глобальных рисков также сталкивается с рядом проблем
 - •23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска
 - •24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам
 - •25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта
 - •26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему
 - •27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»
 - •28. Преувеличение прогностической ценности экстраполяции
 - •29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света
 - •30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска
 - •31. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей
 - •32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной
 - •33. Недооценка системных факторов глобального риска
 - •34. Призыва типа: «Мы все должны бороться за мир»
 - •35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы
 - •36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»
 - •41. Неспособность человека представить свою собственную смерть
 - •42. Подход к жизни в духе: «После нас хоть потоп»
 - •43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели
 - •44. Религиозные мировоззрения и эсхатологические культы
 - •45. Неопределённость значений новых терминов
 - •Глава 3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков
 - •1. Основной причиной человеческих ошибок является сверхуверенность
 - •2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых
 - •7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения
 - •8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности
 - •9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе
 - •10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться
 - •11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах
 - •12. Представления о том, что мышление о глобальных рисках – пессимистично
 - •13. «Теории заговора» как препятствие для научного анализа глобальных рисков
 - •14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов
 - •15. Особенности человеческой эмоции страха
 - •16. Недооценка значения удалённых событий (discount rate)
 - •17. Сознательное нежелание знать неприятные факты
 - •18. Эффект смещения внимания.
 - •19. Интернет как источник возможных ошибок
 - •20. Верования
 - •21. Врождённые страхи
 - •22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске
 - •23. Трудность в определении границ собственного знания
 - •24. Юмор как фактор возможных ошибок
 - •25. Паника
 - •26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок
 - •27. Склонность людей бороться с опасностями, которые уже были в прошлом
 - •28. Усталость от ожидания катастрофы
 - •29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности
 - •30. Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта
 - •31. Недооценка или переоценка нашей способности противостоять глобальным рискам
 - •32. Стокгольмский синдром
 - •33. За ошибками оператора стоит неправильная подготовка
 - •34. Группа людей может принимать худшие решения, чем каждый человек в отдельности
 - •35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок
 - •36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо
 - •37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»)
 - •38. Эффект избирательности внимания
 - •39. Подсознательное желание катастрофы
 - •40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса
 - •41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа
 - •42. Логическая ошибка генерализации на основании художественного вымысла
 - •43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества
 - •44. Секретность как источник ошибок в управлении рисками
 - •45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
 - •46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
 - •47. Недооценка человеческого фактора
 - •48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
 - •49. Статистика как источник возможных ошибок
 - •50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты
 - •51. Двойная ошибка
 - •52. Анализ глобальных рисков не есть создание прогнозов
 - •53. Иллюзия знания задним числом
 - •54. Эффект настройки на источники информации
 - •55. Принятие малого процесса за начало большой катастрофы
 - •56. Более простое объяснение катастрофы подменяет более сложное
 - •57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования
 - •58. Стремление людей установить некий приемлемый для них уровень риска
 - •59. Эффект «сверхуверенности молодого профессионала»
 - •60. Ощущение неуязвимости у выживших
 - •61. Переоценка собственных профессиональных навыков.
 - •62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной
 - •63. Усталость исследователя
 - •64. Страх потери социального статуса исследователями
 - •65. Количество внимания, которое общество может уделить рискам, конечно
 - •66. Пренебрежение экономикой
 - •67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит
 - •68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей
 - •69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав
 - •70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
 - •71. Ошибка, связанная с неправильной корреляцией силы и безопасности
 - •72. Преждевременные инвестиции
 - •73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов
 - •74. Апатия прохожего
 - •75. Потребность в завершении
 - •76. Влияние авторитета и социальное давление группы
 - •77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»
 - •78. Ошибка, связанная с интеллектуальной проекцией
 - •79. Представление о том, что изменять обстоятельства следует, уничтожая их причины
 - •80. Забвение основного принципа медицины – «Не навреди!»
 - •81. Путаница между объективными и субъективными врагами
 - •86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта
 - •87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую
 - •88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки
 - •89. Отказ рассматривать некий сценарий по причине его «невероятности»
 - •90. Переход от обмана к самообману
 - •91. Переоценка собственных возможностей вообще и выживаемости в частности
 - •92. Стремление к прекрасному будущему, заслоняющее восприятие рисков
 - •93. Фильтры, мешающие поступлению информации к руководству
 - •94. Любопытство может оказаться сильнее страха смерти
 - •95. Система и регламент
 - •96. Эффект «стрелочника»
 - •97. Минимальный воспринимаемый риск
 - •98. Отвержение новых идей
 - •99. Воздействие эмоциональной реакции шока
 - •100. Проблемы отбора экспертов
 - •101. Вина и ответственность как факторы предотвращения рисков
 - •102. Недооценка сил инерции как фактора устойчивости систем
 - •103. Мнения, обусловленные мировоззрением
 - •104. Борьба за научный приоритет
 - •105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы
 - •106. Систематическая ошибка, связанная с эгоцентричностью
 - •107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий
 - •107. Зависимость реакции от скорости изменения величины
 - •Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках
 - •1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте
 - •2. Подмена анализа возможностей анализом целей
 - •3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго
 - •4. Мышление, обусловленное желанием нечто доказать
 - •5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов
 - •6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит
 - •7. Использование так называемого «авторитетного знания»
 - •8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана
 - •9. Восприятие новой информации через призму старой
 - •10. Ошибка в выборе нейтральной позиции
 - •11. Уверенность как источник ошибок
 - •12. Использование полностью ошибочной логики
 - •13. Смешение преднауки и псевдонауки
 - •14. Ошибка, связанная с неправильным определением статуса «универсалий»
 - •15. Утверждения о возможности чего-то и невозможности неравносильны
 - •16. Очевидности как источник ошибок
 - •17. Недооценка собственной ошибочности
 - •18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину
 - •24. Санкт-Петербургский парадокс
 - •Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта
 - •1. Разброс мнений по вопросу о безопасности ии означает отсутствие реальных доказательств безопасности
 - •2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
 - •3. Ошибки в критике ии Пенроузом
 - •4. Представление о том, что 3-х законов робототехники а.Азимова достаточно, чтобы решить все проблемы с безопасностью ии
 - •5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует
 - •6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ии
 - •7. Ошибочные представления о том, что ии – это разные конкретные приложения, вроде техники распознания образов
 - •14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем
 - •15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ии будет работать очень медленно
 - •16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ии, и поэтому Ии не представляет никакой угрозы
 - •17. Ошибочное представление о том, что ии невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически
 - •18. Ошибочное представление о том, что ии будет примерно такой же умный, как и человек
 - •19. Ошибочное представление о том, что ии будет равноправным сотрудником человека с теми же возможностями и правами
 - •20. Ошибочное представление о том, что ии будет много
 - •21. Различия в понимании того, что, собственно, является интеллектом
 - •22. Ошибочное однозначное отождествление ии с отдельным объектом
 - •23. Ошибочное представление о том, что достаточно спрятать ии в «чёрный ящик», чтобы он стал безопасен
 - •24. Ошибочное возражение следующего рода: «в Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ии невозможен»
 - •25. Ошибочное представление о том, что ии надо дать команду X (подставить нужное), и всё будет в порядке
 - •26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»
 - •12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий
 - •13. Наша склонность ожидать грандиозных результатов только от грандиозных причин
 - •14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил
 - •15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов
 - •16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом
 - •Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков
 - •Открытая дискуссия как точка отсчёта
 - •2. Принцип предосторожности
 - •Заключение. Перспективы предотвращения глобальных катастроф
 - •Литература
 - •Приложение. Таблица катастроф
 - •Примечания:
 
16.4 Социально-экономический кризис. Война
Более подробно этот вопрос будет рассмотрен далее, в главе о различных системных кризисах, поскольку в современном обществе такой кризис не может не опираться на разные новые технологии. Без таких технологий война или общественно-политический кризис не могут происходить одновременно на всей территории Земли и, таким образом, создавать глобальный риск.
16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
Очевидно, что генетическая деградация может проявиться только в течение многих поколений. Если при этом будет существовать высокоразвитая цивилизация, то уже через поколение мы сможем управлять развитием эмбрионов и отбирать наиболее здоровых из них, а также лечить генетические заболевания разными способами. Если же человечество ждёт деградация, то текущая популяция пройдёт через «бутылочное горлышко», что резко увеличит давление естественного отбора и улучшит качество генов. Подобные же рассуждения верны и для проблем с фертильностью.
Если экстраполировать модель «одна семья – один ребёнок», то она приведёт к полному вымиранию человечества менее чем за 1000 лет, что выходит за рассматриваемый промежуток времени (и достаточно уязвимо для критики, так как здесь был бы отбор в сторону наиболее плодовитых семейств). Однако если бы некий вирус привёл к тотальному бесплодию человечества, и при этом технический прогресс бы остановился, то люди бы вымерли к XXII веку. Опять же, это мало вероятно, так как уже почти готовы технологии репродуктивного клонирования.
Вывод: названные факторы не угрожают выживанию человечества в рассматриваемый период.
16.6 Старение вида
Есть концепция, что виды могут стареть. Майкл Фут и др. в статье «Взлет и падение видов: новые данные подтверждают старую идею «эволюционного цикла»223 пишут: «После появления вида его «распространенность» (площадь ареала и частота встречаемости) постепенно растет в течение нескольких миллионов лет, ненадолго достигает максимума и затем постепенно снижается. Виды редко вымирают внезапно, находясь на пике численности; вымиранию обычно предшествует длительный период упадка… Это значит, что палеонтологическая история вида позволяет судить о вероятности его вымирания в наши дни: наибольшей опасности подвергаются те виды, которые уже миновали пик своего развития и находятся в фазе упадка. Полученные данные противоречат также распространенному мнению о том, что в эволюции должны чередоваться короткие периоды «становления» и долгие периоды «стазиса». В действительности виды, по-видимому, почти не задерживаются на максимальном достигнутом уровне и практически сразу переходят от роста к упадку».
Стареть могут также государства и культуры, делаясь всё более застывшими и зарегламентированными, и, в конечном счёте, – хрупкими. Возможно, могут стареть и цивилизации планетарного масштаба, постепенно утрачивая интерес к жизни. Всё же вряд ли это угрожает Земле на нынешнем этапе. С другой стороны, рост числа пенсионеров и «бессмертных», если таковые будут когда-нибудь созданы, может когда-нибудь актуализировать эту проблему.
16.7 Вытеснение другим биологическим видом
Многие виды животных кончили тем, что были вытеснены более эффективными видами, или мутировали в них. Возникновение такого вида путём естественной эволюции в ближайшие 100 лет невозможно. Даже рост и сокращение численности разных рас и народов не являются процессами, которые успеют завершиться в XXI веке. Кроме того, изменение этнического состава не является угрозой выживанию человечества как вида, хотя эта тема вызывает очень много эмоций, и этнические конфликты могут стать глобальными рисками второго рода – то есть ситуациями, снижающими выживаемость человечества.
Вытеснение другим видом возможно как частный случай генетических экспериментов или развития симбиоза человек-компьютер. Однако чтобы вытеснить человека, новый вид, вероятно, должен быть умнее. Здесь можно вспомнить много фантастических сюжетов о создании химер из людей и животных и о войне между двумя видами.
В качестве экстремально маловероятного сценария можно назвать случайное совпадение моментов смерти всех людей (допустим, в течение года). Для современного человечества вероятность такого события исчислялась бы дробью с миллиардами нулей после запятой, однако для небольшого племени статистическая аномалия, приводящая к вымиранию, является возможной.
