6.12 «Восстание» роботов

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго захватив их.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант – восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. (Уже сейчас почти полностью роботизированной армией являются стратегические ядерные силы.) Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел землёй, ему не нужна армия роботов.

6.13 Контроль и возможность истребления

Из того, что ИИ установит свой контроль на земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

• Ошибочно запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности, и именно их мог бы разрабатывать ИИ.)

• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

• ИИ сломается и «сойдёт с ума».

• Ии решится на опасный физический эксперимент.

• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.