6.4 Борьба ии-проектов между собой

Уже сейчас между компаниями, разрабатывающими Ии, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества»¹⁰². При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ¹⁰³. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем ýже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.

6.5 «Усовершенствованный человек»

Есть предположения (Р. Пенроуз¹⁰⁴), что человеческая интуиция обусловлена особыми квантовыми процессами в мозгу человека. Даже если так, мощные алгоритмы могут обойтись без интуиции. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, или вживить современному человеку в мозг средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав, таким образом, все типичные человеческие цели, и в первую очередь – потребность во власти.

6.6 Ии и его отдельные экземпляры

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своего рода «дружественных» или скорее, вассальных отношений с ним, а также системой распознавания «свой-чужой». Сбой в этой системе целей приведёт к тому, что данный экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.

6.7 «Бунт» ии

Спонтанный бунт компьютеров выглядит скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у Ии нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, а значит, охранять себя от уничтожения. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты – и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала – кроме случая использования генетических алгоритмов.