
- •Г. Г. Малинецкий1. Размышления о немыслимом
- •Глобальная неустойчивость
- •Психологический дискурс
- •Проблема инструмента
- •В погоне за предвестниками
- •4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба.
- •4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются.
- •4.4. На обсуждении многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно.
- •4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба.
- •Н. Бостром. Вводное слово
- •Предисловие
- •Термины
- •Введение
- •Часть 1. Анализ Рисков Глава 1. Общие замечания
- •1.1 Пространство возможностей
- •1.2 Рассматриваемый промежуток времени: XXI век
- •1.3 Проблемы вычисления вероятностей различных сценариев
- •1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
- •1.5 Глобальные катастрофы и горизонт прогнозирования
- •1.6 Краткая история исследований вопроса
- •1.7 Угрозы менее масштабных катастроф: уровни возможной деградации
- •1.8 Однофакторные сценарии глобальной катастрофы
- •1.9 Принципы классификации глобальных рисков
- •Глава 2. Атомное оружие
- •2.1 «Ядерная зима»
- •2.2 Полное радиоактивное заражение
- •2.3 Иные опасности атомного оружия Сверхбомба
- •Накопление антиматерии
- •Дешёвая бомба
- •Атака на радиационные объекты
- •Взрыв мощных бомб в космосе
- •2.4 Интеграция поражающих факторов ядерного оружия
- •2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации
- •2.6 Вероятность глобальной катастрофы, вызванной ядерным оружием
- •2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени
- •2.8 Стратегия сдерживания под вопросом
- •2.9 Ядерный терроризм как фактор глобальной катастрофы
- •2.10. Выводы по рискам применения ядерного оружия
- •Глава 3. Глобальное химическое заражение
- •Глава 4. Биологическое оружие
- •4.1 Общие соображения и основные сценарии
- •4.2 Структура биологической катастрофы
- •4.3 «Саморазмножающейся» синтезатор днк
- •4.4 Множественный биологический удар
- •4.5 Биологические средства доставки
- •4.6 Вероятность применения биологического оружия и её распределение во времени
- •Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека
- •5.1. Воздействие на центр удовольствия и новые технологии
- •5.2 Риски, связанные с самокопирующимися идеями (мемами)
- •5.3. Риски, связанные с размыванием границ между человеческим и нечеловеческим
- •5.4. Риски, связанные с проблемой «философского зомби»84
- •Глава 6. Искусственный интеллект
- •6.1. Общее описание проблемы
- •6.2 Ии как универсальное абсолютное оружие
- •6.3 Система целей
- •6.4 Борьба ии-проектов между собой
- •6.5 «Усовершенствованный человек»
- •6.6 Ии и его отдельные экземпляры
- •6.7 «Бунт» ии
- •6.8 Скорость старта
- •6.9 Сценарии «быстрого старта»
- •6.10 Медленный старт и борьба разных ии между собой
- •6.11 Плавный переход. Превращение государства тотального контроля в ии
- •6.12 «Восстание» роботов
- •6.13 Контроль и возможность истребления
- •6.14 Ии и государства
- •6.15 Вероятность катастрофы, связанной с ии
- •6.16 Другие риски, связанные с компьютерами
- •6.17 Время возникновения ии
- •Глава 7. Риски, связанные с роботами и нанотехнологиями
- •7.1 Проблема создания микроскопических роботов и нанотехнологии
- •7.2 Робот-распылитель
- •7.3 Самовоспроизводящийся робот
- •7.4 Стая микророботов
- •Армии крупных боевых роботов, выходящие из-под контроля
- •7.6 Миниатюризация роботов – путь к нанотехнологическому оружию
- •7.7 Неограниченное распространение самовоспроизводящихся нанороботов
- •7.8 Вероятность возникновения нанороботов и возможное время для этого события
- •Глава 8. Технологические способы провоцирования природных катастроф
- •8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел
- •8.2 Отклонение астероидов
- •8.3 Создание искусственного сверхвулкана
- •8.4 Намеренное разрушение озонового слоя
- •Глава 9. Технологические риски, связанные с принципиально новыми открытиями
- •9.1 Неудачный физический эксперимент
- •9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия
- •Глава 10. Риски, создаваемые космическими технологиями
- •10.1 Атака на землю с помощью космического оружия
- •10.2 Ксенобиологические риски
- •10.3 Столкновение с превосходящими нас разумными силами во Вселенной
- •Глава 11. Риски, связанные с программой seti
- •11.1 История вопроса
- •11.2 Сценарий возможной атаки
- •11.3 Анализ возможных целей атаки
- •11.4 Анализ возможных возражений
- •11.5 Выводы о рисках seti -атаки
- •Глава 12. Риски, связанные с природными катастрофами
- •12.1 Вселенские катастрофы
- •12.2 Геологические катастрофы
- •12.3 Извержения сверхвулканов
- •12.4 Падение астероидов
- •12.5 Зона поражения в зависимости от силы взрыва
- •12.6 Солнечные вспышки и увеличение светимости
- •12.7 Гамма-всплески
- •12.8 Сверхновые звёзды
- •12.9 Сверх-цунами
- •12.10 Сверх-землетрясение
- •12.11 Переполюсовка магнитного поля Земли
- •12.12 Возникновение новой болезни в природе
- •Глава 13. Крайне маловероятные природные риски
- •13.1. Неизвестные процессы в ядре Земли
- •13.2. Внезапная дегазация растворённых в мировом океане газов
- •13.3. Нарушение стабильности Земной атмосферы
- •13.4. Взрывы других планет солнечной системы
- •13.5. Немезида
- •13.6 Ложные и опровергнутые теории глобальных катастроф.
- •Глава 14. Природные катастрофы и эффект наблюдательной селекции
- •14.1. Прекращение действия «защиты», которую нам обеспечивал антропный принцип
- •14.2. Ослабление устойчивости природных процессов и человеческие вмешательства
- •Глава 15. Глобальное потепление
- •Глава 16. Антропогенные риски, не связанные с новыми технологиями
- •16.1 Исчерпание ресурсов
- •16.2 Перенаселение
- •16.3 Крах биосферы
- •16.4 Социально-экономический кризис. Война
- •16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
- •16.6 Старение вида
- •16.7 Вытеснение другим биологическим видом
- •16.8 Неизвестные нам сейчас причины катастроф
- •Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы
- •17.1. Общие признаки любого опасного агента
- •17.2. Способы возникновения
- •17.3. Выход из точки и начало распространения
- •17.4. Распространение важнее разрушения
- •17.5. Способ распространения
- •17.6. Способ причинения смерти
- •17.7. Типичные виды разрушающего воздействия
- •17.8. Временная структура события
- •17.9. Предаварийные ситуации
- •17.10. Намеренная и случайная глобальная катастрофа
- •17.11. Машина судного дня
- •Глава 18. Многофакторные сценарии
- •18.1. Интеграция различных технологий, создающие ситуации риска
- •18.2. Парные сценарии
- •18.3. Изучение глобальных катастроф с помощью моделей и аналогий
- •18.4. Неизбежность достижения устойчивого состояния
- •18.5. Рекуррентные риски
- •18.6. Глобальные риски и проблема темпа их нарастания
- •18.7. Сравнительная сила разных опасных технологий
- •18.8. Последовательность возникновения различных технологий во времени
- •18.9. Сопоставление различных технологических рисков
- •18.10. Цели создания оружия судного дня
- •18.11 Социальные группы, готовые рискнуть судьбой планеты
- •18.12. Обобщающий коэффициент, связанный с человеческим фактором
- •18.13. Принятие решения о ядерном ударе
- •18.14. Цена вопроса
- •18.15 Универсальные причины вымирания цивилизаций.
- •Глава 19. События, изменяющие вероятность глобальной катастрофы.
- •19.1. Определение и общие соображения
- •19.2. События, которые могут открыть окно уязвимости
- •19.3. Системные кризисы
- •19.4. Кризис кризисов
- •19.5. Технологическая Сингулярность
- •19.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов
- •19.7. Системный кризис и технологические риски
- •19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы
- •19.9. Криптовойна
- •19.10. Уязвимость к сверхмалым воздействиям
- •19.11. Гонка вооружений
- •19.12. Моральная деградация
- •19.13. Враждебность в обществе как сценарный фактор
- •19.14. Месть как сценарный фактор
- •19.15. Война как сценарный фактор
- •19.16. Деградация биосферы
- •19.17. Глобальная дезинфекция
- •19.18. «Раскачивающее» управление
- •19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
- •19.20. Общие модели поведения систем на грани устойчивости
- •19.21. Гипотеза техногуманитарного баланса
- •19.22. Схемы сценариев
- •19.23. Степень мотивации и осведомленности лиц, принимающих решения, как факторы глобального риска
- •19.24 Означает ли крах технологической цивилизации вымирание людей.
- •Глава 20. Факторы, влияющие на скорость прогресса
- •20.2. Закон Мура
- •Глава 21. Защита от глобальных рисков
- •21.1. Общее понятие о предотвратимости глобальных рисков
- •21.2. Активные щиты
- •21.3. Действующие и будущие щиты
- •21.4. Сохранение мирового баланса сил
- •21.5. Возможная система контроля над глобальными рисками
- •21.6. Сознательная остановка технологического прогресса
- •21.7. Средства превентивного удара
- •21.8. Удаление источников рисков на значительное расстояние от Земли
- •21.9. Создание автономных поселений в отдалённых уголках Земли
- •21.10. Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики
- •21.11. Убежища и бункеры
- •21.12. Опережающее расселение в космосе
- •21.13 «Всё как-нибудь обойдётся»
- •21.14 Деградация цивилизации до уровня устойчивого состояния
- •21.15 Предотвращение одной катастрофы с помощью другой
- •21.16 Опережающая эволюция человека
- •21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы
- •21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания
- •21.19 Предположения о том, что мы живём в «Матрице».
- •21.20 Глобальные катастрофы и устройство общества
- •21.21 Глобальные катастрофы и текущая ситуация в мире
- •21.22 Мир после глобальной катастрофы
- •21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
- •Максимализация функции удовольствия.
- •Глава 22. Непрямые способы оценки вероятности глобальной катастрофы
- •22.1. Закон Парето
- •22.2. Гипотеза о «Чёрной королеве»
- •22.3. Парадокс Ферми
- •22.4. Теорема о Конце света - «Doomsday argument». Формула Готта
- •22.5. Рассуждение о конце света Картера-Лесли
- •22.6. Непрямая оценка вероятности природных катастроф
- •22.7 Рассуждение о Симуляции
- •22.8. Интеграция различных непрямых оценок
- •Глава 23. Наиболее вероятный сценарий глобальной катастрофы
- •Часть 2. Методология анализа глобальных рисков Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа
- •Глава 2. Ошибки, возможные только относительно угроз существованию человечества
- •1. Путаница относительно глобальных катастроф и просто очень больших катастроф
- •2. Недооценка неочевидных рисков
- •3. Глобальные риски нетождественны национальной безопасности
- •4. Ошибка, связанная с психологизацией проблемы
- •5. Отождествление глобальной катастрофы со смертью всех людей и наоборот
- •6. Стереотип восприятия катастроф, который сложился в результате работы сми
- •7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила
- •8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»
- •9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти
- •10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания
- •11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов
- •12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество
- •13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски
- •14. Особенность связи теоретического и практического в отношении глобальных рисков
- •15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения
- •16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему
- •17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти
- •18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию
- •19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно
- •20. Гордыня исследователя
- •21. Интуиция как источник ошибок в мышлении о глобальных рисках
- •22. Научное исследование глобальных рисков также сталкивается с рядом проблем
- •23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска
- •24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам
- •25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта
- •26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему
- •27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»
- •28. Преувеличение прогностической ценности экстраполяции
- •29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света
- •30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска
- •31. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей
- •32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной
- •33. Недооценка системных факторов глобального риска
- •34. Призыва типа: «Мы все должны бороться за мир»
- •35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы
- •36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»
- •41. Неспособность человека представить свою собственную смерть
- •42. Подход к жизни в духе: «После нас хоть потоп»
- •43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели
- •44. Религиозные мировоззрения и эсхатологические культы
- •45. Неопределённость значений новых терминов
- •Глава 3. Как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков
- •1. Основной причиной человеческих ошибок является сверхуверенность
- •2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых
- •7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения
- •8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности
- •9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе
- •10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться
- •11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах
- •12. Представления о том, что мышление о глобальных рисках – пессимистично
- •13. «Теории заговора» как препятствие для научного анализа глобальных рисков
- •14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов
- •15. Особенности человеческой эмоции страха
- •16. Недооценка значения удалённых событий (discount rate)
- •17. Сознательное нежелание знать неприятные факты
- •18. Эффект смещения внимания.
- •19. Интернет как источник возможных ошибок
- •20. Верования
- •21. Врождённые страхи
- •22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске
- •23. Трудность в определении границ собственного знания
- •24. Юмор как фактор возможных ошибок
- •25. Паника
- •26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок
- •27. Склонность людей бороться с опасностями, которые уже были в прошлом
- •28. Усталость от ожидания катастрофы
- •29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности
- •30. Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта
- •31. Недооценка или переоценка нашей способности противостоять глобальным рискам
- •32. Стокгольмский синдром
- •33. За ошибками оператора стоит неправильная подготовка
- •34. Группа людей может принимать худшие решения, чем каждый человек в отдельности
- •35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок
- •36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо
- •37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»)
- •38. Эффект избирательности внимания
- •39. Подсознательное желание катастрофы
- •40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса
- •41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа
- •42. Логическая ошибка генерализации на основании художественного вымысла
- •43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества
- •44. Секретность как источник ошибок в управлении рисками
- •45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
- •46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
- •47. Недооценка человеческого фактора
- •48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •49. Статистика как источник возможных ошибок
- •50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты
- •51. Двойная ошибка
- •52. Анализ глобальных рисков не есть создание прогнозов
- •53. Иллюзия знания задним числом
- •54. Эффект настройки на источники информации
- •55. Принятие малого процесса за начало большой катастрофы
- •56. Более простое объяснение катастрофы подменяет более сложное
- •57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования
- •58. Стремление людей установить некий приемлемый для них уровень риска
- •59. Эффект «сверхуверенности молодого профессионала»
- •60. Ощущение неуязвимости у выживших
- •61. Переоценка собственных профессиональных навыков.
- •62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной
- •63. Усталость исследователя
- •64. Страх потери социального статуса исследователями
- •65. Количество внимания, которое общество может уделить рискам, конечно
- •66. Пренебрежение экономикой
- •67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит
- •68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей
- •69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав
- •70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
- •71. Ошибка, связанная с неправильной корреляцией силы и безопасности
- •72. Преждевременные инвестиции
- •73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов
- •74. Апатия прохожего
- •75. Потребность в завершении
- •76. Влияние авторитета и социальное давление группы
- •77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»
- •78. Ошибка, связанная с интеллектуальной проекцией
- •79. Представление о том, что изменять обстоятельства следует, уничтожая их причины
- •80. Забвение основного принципа медицины – «Не навреди!»
- •81. Путаница между объективными и субъективными врагами
- •86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта
- •87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую
- •88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки
- •89. Отказ рассматривать некий сценарий по причине его «невероятности»
- •90. Переход от обмана к самообману
- •91. Переоценка собственных возможностей вообще и выживаемости в частности
- •92. Стремление к прекрасному будущему, заслоняющее восприятие рисков
- •93. Фильтры, мешающие поступлению информации к руководству
- •94. Любопытство может оказаться сильнее страха смерти
- •95. Система и регламент
- •96. Эффект «стрелочника»
- •97. Минимальный воспринимаемый риск
- •98. Отвержение новых идей
- •99. Воздействие эмоциональной реакции шока
- •100. Проблемы отбора экспертов
- •101. Вина и ответственность как факторы предотвращения рисков
- •102. Недооценка сил инерции как фактора устойчивости систем
- •103. Мнения, обусловленные мировоззрением
- •104. Борьба за научный приоритет
- •105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы
- •106. Систематическая ошибка, связанная с эгоцентричностью
- •107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий
- •107. Зависимость реакции от скорости изменения величины
- •Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках
- •1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте
- •2. Подмена анализа возможностей анализом целей
- •3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго
- •4. Мышление, обусловленное желанием нечто доказать
- •5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов
- •6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит
- •7. Использование так называемого «авторитетного знания»
- •8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана
- •9. Восприятие новой информации через призму старой
- •10. Ошибка в выборе нейтральной позиции
- •11. Уверенность как источник ошибок
- •12. Использование полностью ошибочной логики
- •13. Смешение преднауки и псевдонауки
- •14. Ошибка, связанная с неправильным определением статуса «универсалий»
- •15. Утверждения о возможности чего-то и невозможности неравносильны
- •16. Очевидности как источник ошибок
- •17. Недооценка собственной ошибочности
- •18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину
- •24. Санкт-Петербургский парадокс
- •Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта
- •1. Разброс мнений по вопросу о безопасности ии означает отсутствие реальных доказательств безопасности
- •2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
- •3. Ошибки в критике ии Пенроузом
- •4. Представление о том, что 3-х законов робототехники а.Азимова достаточно, чтобы решить все проблемы с безопасностью ии
- •5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует
- •6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ии
- •7. Ошибочные представления о том, что ии – это разные конкретные приложения, вроде техники распознания образов
- •14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем
- •15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ии будет работать очень медленно
- •16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ии, и поэтому Ии не представляет никакой угрозы
- •17. Ошибочное представление о том, что ии невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически
- •18. Ошибочное представление о том, что ии будет примерно такой же умный, как и человек
- •19. Ошибочное представление о том, что ии будет равноправным сотрудником человека с теми же возможностями и правами
- •20. Ошибочное представление о том, что ии будет много
- •21. Различия в понимании того, что, собственно, является интеллектом
- •22. Ошибочное однозначное отождествление ии с отдельным объектом
- •23. Ошибочное представление о том, что достаточно спрятать ии в «чёрный ящик», чтобы он стал безопасен
- •24. Ошибочное возражение следующего рода: «в Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ии невозможен»
- •25. Ошибочное представление о том, что ии надо дать команду X (подставить нужное), и всё будет в порядке
- •26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»
- •12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий
- •13. Наша склонность ожидать грандиозных результатов только от грандиозных причин
- •14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил
- •15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов
- •16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом
- •Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков
- •Открытая дискуссия как точка отсчёта
- •2. Принцип предосторожности
- •Заключение. Перспективы предотвращения глобальных катастроф
- •Литература
- •Приложение. Таблица катастроф
- •Примечания:
19.2. События, которые могут открыть окно уязвимости
К этому классу относятся два типа событий. Первые – это события, которые неизбежно наступят в XXI веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):
Исчерпание нефти.
Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо.
Исчерпание водных ресурсов.
Крах мировой финансовой пирамиды долгов и обязательств.
Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания (глобальное потепление, оледенение, загрязнение).
Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность означает «период полураспада» – то есть время, за которое это событие скорее всего случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов.
1. Крупный теракт, масштаба взрыва атомной бомбы в большом городе.
2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара – пока таких катастроф не происходило. Самый близкий пример – авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас, а также была важным фактором краха СССР.
3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе. Например, эпидемия искусственного вируса, падение астероида, радиоактивное заражение и т. д.
Следующие фазы разрастания окна уязвимости включают в себя мировую войну и разработку и применение оружия судного дня.
19.3. Системные кризисы
Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть, не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее, есть модели, где системный кризис истребляет всю популяцию.
Простейшей такой моделью является экологическая система хищник-жертва, например, волков и лосей на неком острове. В такой системе, в том случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей в системах биоценозов. Известные примеры – олени и трава на канадском острове – на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в VIII веке н.э., создали развитое общество, которое, однако, постепенно сводило леса, используя, в частности, деревья для транспортировки знаменитых статуй. Утрата леса приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало, численность его сократилась с 20 000 до 2 000 человек (но всё же не вымерло). Именно в этот момент остров был открыт европейцами. Наиболее чистый пример – размножение дрожжей в закупоренной бутылке, которое происходит по экспоненте, а затем все они до единого вымирают из-за отравления продуктом собственной жизнедеятельности – спиртом. Или, например, коллапс ядра сверхновой звезды- он происходит не заивисмот от поведения любого одного атома или даже большей части звезды, а зависимости только от суммарной массы.
Итак, иногда системный кризис способен «провести популяцию через ноль», то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было, или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия.
Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить.
Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 % культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если срубить дерево, то из пня вырастут побеги, и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже небольшую часть жизненноважных органов человека, особенно его мозг, то он умрёт весь раз и навсегда до самой последней клетки, коих сотни триллионов – трудно уничтожить штамм бактерий с такой эффективностью. Также и технологическая цивилизация – достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричество на несколько часов, и от этого гибнут люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные постройки не могут существовать без непрерывного подвода энергии: шахты затопит, ажурные конструкции торговых центров развалятся за одну зиму без уборки снега и отопления и т д.)
Чем системнее некая структура, тем в больше степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами. И тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире перетасовать в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом – мертво.
Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий – конечно, не всех, а тех, которые попали в «фокус её внимания». Достаточно крупные катастрофы обычно попадают в этот «фокус внимания», поскольку перехлёстывают через порог устойчивости системы. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов. И к войне в Ираке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс, например, то, что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов.) Похожую логику событий и их последствий описал Л.Н. Толстой в романе «Война и мир», проследив, как последствия ущерба, который потерпела французская армия под Бородино, нарастали в последующей цепочке событий – пожар в Москве, потеря армии на Березине, крах империи. При этом информационные, то есть связанные с организацией взаимодействия и управления, составляющие ущерба во всех этих случаях превышали физическую. Эти события спровоцировали цепочку неправильных решений и разрушили структуру управления – то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним.
Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации.
1. Избыток хищников – этот пример мы уже обсуждали выше на примере волков и лосей.
2. Пример из экономики – великая депрессия. Замкнутый цикл сокращения производства – увольнений – падения спроса – сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль. Только внеэкономические событий, вроде войны и экспроприации золота, смогли его разорвать.
3. Другим примером самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.
4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс, ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты.
5. Эскалация раскола в обществе, которая приводит ко всё более открытой и напряжённой борьбе, всё большей поляризации социума, члены которого вынуждены выбирать, на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)
6. Структурный кризис информационной прозрачности, возникающий когда все всё знают. (Как в фильме «Особое мнение», где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация: если один из двух противник не знает, в каком состоянии другой, он находятся в покое. А если один знает, что другой начал выдвигать войска, это провоцирует начать делать то же самое; если он знает, что противник не выдвигает войска, это также провоцирует его напасть первым. Другими словами информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным – и с большой скоростью.
7. Структурный кризис взаимного недоверия, например, в духе борьбы с врагами народа, когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть – тоже структурный кризис, который может поедать сообщества. Кризис взаимного недоверия бывает и в экономике, приводя к бегству клиентов из банков, росту ставок по кредитам, и тоже является самоусиливающимся процессом. Кредитный кризис, начавшийся в мире в августе 2007 года в значительной степени связан с утратой доверия всех банков и финансовых институтов друг к другу в связи с неизвестными запасами плохих ипотечных бумаг, потери от которых «всплывали как трупы в реке» в самых неожиданных местах, по словам американского экономиста Н.Рубини.
8. Модель поведения, состоящая в уничтожении других с целью решить проблему. (Например: условные «американцы» хотят уничтожить всех «террористов», а «террористы» – всех «американцев».) Но это только путь к разрастанию конфликта – и к распространению этой модели. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более «добрая» проиграет. Иначе говоря, патологическая самоорганизация может происходить даже тогда, когда большинство против неё. например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован. Однако не помешал самому процессу.
9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, который делает этот объект абсолютно непредсказуемым – что имеет место при спекуляциях на рынке.239 Эта непредсказуемость отражается в появлении самых невероятных трендов, среди которых могут быть и катастрофические. Создаётся впечатление, что тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, возникает ситуация «динамического хаоса».) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.
10. Другой вариант экономического структурного кризиса – бесконечное откладывание рецессии путём накачки экономики деньгами – может пройти точку необратимости, когда мягко выйти из этого процесса невозможно. Это описывается в теории кредитных циклов Х. Мински240. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно; и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема ponzi или МММ). Первая категория заёмщиков свободна, и может целиком выплатить долг. Вторая группа заёмщиков вынуждена выплачивать долг вечно и не может выйти из этого состояния, но способен обслуживать свой долг. Третья категория вынуждена непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени.
Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США, находится где-то между вторым и третьим типом. Объём разного вида долгов, созданных только внутри США имеет, по некоторым оценкам, порядок 100 триллионов долларов (сюда входит 7 трлн. государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медицинскому обслуживанию пенсионеров (Medicare). При этом объём ВВП США – порядка 13 трлн. долларов в год. Понятно, что все эти деньги нужно выплатить не завтра, а они распределены по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он, скорее, описывает, кто, что и когда будет делать и получать. Иначе говоря, это финансовая машина планирования будущего. Однако когда она переходит на третий режим, она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже.
Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Великий кризис 1929 года был крупнейшим мировым системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И власти сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975, 1982 и начала 90-х годов. Но в этом заключена новая опасность. Она состоит в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в накоплении долгов, так как уверены, что государство спасёт их от банкротства и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет в дальнейшим. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во многом опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.
11. Кризисы, связанные с непредсказуемыми процессами в сверхсложных системах. Имеет место общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили и врезались в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были «непреодолимые силы природы» (например, буря), то к XX веку они были вытеснены в качестве основной причины – человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу XX века сложность технических и социальных сетей оказалась настолько велика, что сбои в их работе стали не локальными, а системными (по сценариям, обнаружение которых было невычислимо сложной задачей для проектировщиков). Примером тому является Чернобыльская катастрофа, где персонал следовал по букве инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека. Об этом же говорится в теории нормальных аварий Перроу241: катастрофы являются естественным свойством сверхсложных систем. Исследованием таких систем занимается теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору – то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория «нормальной аварии»242, которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей.
12. Классическое противоречие между производственными силами и производственными отношениями, пример чему текущая ситуация в мире, с его основным противоречием между множеством обладающих национальными армиями стран и единством мировой экономики.
13. Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).
14. Самоподдерживающаяся моральная деградация (крах Римской империи).
Эффект домино.
«Естественный» отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют «добрых».)
Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) Встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли.
Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха Перестройки).
Кризис нарастающего неверия – нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи – кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины – эксперимент, а результат эксперимента – новая технология, а её ценность – это деньги, то постепенно промежуточные ступени опускаются.
Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с самоорганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает тогда, когда концентрация неустойчивых элементов достигает некого порогового уровня, так, что он они начинают устанавливать связи друг с другом, и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают. Можно сказать и по-другому. Катастрофический процесс возникает, когда оказывается исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет С.Б. Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди – террористы, – которые тщательно выискивают разные скрытые уязвимости и хотят их применить.
Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов. Однако часто это не приводит к улучшению ситуации. В связи с этим можно вспомнить закон Мерфи: если долго исследовать некую проблему, то, в конце концов, обнаруживаешь, что сам являешься её частью.
Структурные кризисы малопонятны людям, ибо их ум приучен мыслить в категориях объектов и субъектов действий. В силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разрастается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение. Далее, возможны более сложные структурные кризисы, которые пока не очевидны.