4. Представление о том, что 3-х законов робототехники а.Азимова достаточно, чтобы решить все проблемы с безопасностью ии

Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности Ии в сколько-нибудь значительной мере³²⁷:

1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.

2. Они содержат в себе противоречия, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1, 2 и 3 законами и в результате ведёт себя опасным образом.

3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.

4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.

5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно поместить эти законы в ИИ.

5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует

Алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение³²⁸. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.

6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ии

Известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI, a2i2. Более подробный обзор программ по созданию ИИ см. в главе о рисках ИИ.

7. Ошибочные представления о том, что ии – это разные конкретные приложения, вроде техники распознания образов

Здесь происходит подмена тезисов. В данной книге под «Ии» имеется в виду именно Искусственный Интеллект. От того, что кто-то распространяет свои разработки под брендом «ИИ», хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности, также предлагают использовать термин «искусственный разум».

8. Антропоморфизм

Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания. Подробнее см. в статье Юдковски в приложении. В частности, мы воспринимаем ИИ как объект, который где-то находится, имеет чёткие границы, цели и т. д.

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить

Это утверждение базируется на предположении, что программист Ии будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе неверное предположение – о локальности ИИ. Третье – о том, что ИИ не сможет защитить своё питание, или замаскировавшись, или уйдя в сеть. Четвёртое – что программист не может быть в сговоре с ИИ (и/или обманут им).

10. Ошибочное представление о том, что, даже распространившись по Интернету, Ии никак не сможет воздействовать на внешний мир

Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку

Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан и будет это на самом деле это делать.

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью X (подставить нужное), и это благо

Интеллект – это инструмент, который может быть направлен на достижение произвольной цели. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради всего этого пишутся стихи, доказываются теоремы, плетутся заговоры. Поэтому наличие интеллекта не означает никакой однозначной цели. (И думать так, значит переходить от фактов к долженствованиям, что содержит в себе всегда логическую ошибку.) И уж тем более абстрактная цель (познать мир, например) не может быть конкретным благом для всех людей, ибо всё зависит от способов реализации этой цели.