19. Ошибочное представление о том, что ии будет равноправным сотрудником человека с теми же возможностями и правами

Здесь путают ИИ и отдельного робота. В том случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

20. Ошибочное представление о том, что ии будет много

Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него имеется много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (находясь внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько видов ИИ, то среди них только один будет главным. То есть мы скорее столкнёмся не с множеством отдельных разумных машин, а с одной системой нечеловеческих масштабов; примерами таких систем являются наука, государство и Интернет.

21. Различия в понимании того, что, собственно, является интеллектом

Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: Ии – это машина, способная побеждать человека в любом виде деятельности (или даже: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

22. Ошибочное однозначное отождествление ии с отдельным объектом

ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

23. Ошибочное представление о том, что достаточно спрятать ии в «чёрный ящик», чтобы он стал безопасен

Если мы поместили Ии в «чёрный ящик» (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и «чёрный ящик» не является таковым. Если мы не получаем никакой информации из «чёрного ящика», это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в «чёрный ящик». Наконец, ИИ может взломать «чёрный ящик» изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания. Юдковски провёл так называемый AI-box эксперимент³²⁹. В ходе этого эксперимента человек, изображающий из себя ИИ, должен был уговорить оператора выпустить его из чёрного ящика (не используя подкупа, шантажа и при ряде других ограничений). Из пяти экспериментов, в трёх операторы его выпустили, хотя в начале считали, что не выпустит его ни при каких условиях.

24. Ошибочное возражение следующего рода: «в Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ии невозможен»

В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.