25. Ошибочное представление о том, что ии надо дать команду X (подставить нужное), и всё будет в порядке

Командой «Х» может быть: «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Но мы не можем проверить, как именно Ии реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»

Неверно. Проверить эффективность Ии можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ИИ вышел из-под контроля, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём. И во всех других крупных проектах безопасность обдумывается с самого начала.

27. Ошибочное представление в духе: «Маловероятно, что наш проект по созданию Ии выйдет из-под контроля»

В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»

Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать заранее.

29. Нетождественность способностей и намерений

См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть его в том, что если ИИ может что-то делать, это не значит, что он будет это делать. Если ИИ может печь гигантские ватрушки, это не значит, что будущий мир будет заполнен гигантскими ватрушками. То есть мы не должны отождествлять мотивы действий и способности ИИ.

Глава 6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий

1. Ошибочное представление о том, что нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома

Это не так, – существуют белки, которые являются самыми разными механизмами: клапанами, ножницами, моторчиками, – и в них важно и определено местоположением каждого атома.

2. Ошибочное представление о том, что нанофабрики безопаснее наноассемблеров

Нанофабрики – это макроскопические устройства, производящие устройства наноразмеров (например, фотолитографическое производство микросхем). Наноассемблеры – это устройства наноразмеров, способное производить свои копии. С помощью одного можно сделать другое и наоборот, то есть эти устройства функционально изоморфны.

3. Ошибочное представление о том, что нанотехнологии настолько далеки от нас во времени, что о них можно не думать

От практической реализации нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая, будучи запущена в клетке бактерии, позволила бы произвести дистанционно управляемый наноассемблер.

4. Ошибочное представления в духе «Нанотехнологии придумали только для отмывания денег»

Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.

5. Ошибочное представление о том, что нанотехнологии связаны только с материаловедением, мелкодисперсными материалами и нанотрубками

Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и наноматериалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями – технология MEMS³³⁰ (например, микромаятники для гироскопов). Основной прогресс закона мура идёт именно за счёт развития нанотехнологий всё более прецизионной печати полупроводников.

6. Ошибочное представление о том, что нанороботы будут слабее бактерий, потому что бактерий имели миллиарды лет, чтобы приспособиться к окружающей среде

Это не более верно, чем утверждение, что «Самолёты будут слабее (как оружие) птиц, потому что птицы развивались в течение миллионов лет». Человеческие достижения обычно превосходят биологические по какому-то одному параметру (размеру, скорости, быстродействию).

7. Ошибочное представление о том, что если бы нанороботы были возможны, их бы уже создала природа

Природа не создала колеса, но оно возможно и эффективно. С другой стороны природа создала аналог нанороботов в виде бактерий, которые показывают принципиальную возможность самодостаточных самовоспроизводящихся микроскопических устройств.

8. Ошибочное представление о том, что нанороботы не смогут размножаться в природной среде

Если бактерии могут размножаться в природе, то могут и нанороботы – ведь они могут использовать все приёмы, доступные бактериям.

9. Ошибочное представление о том, что нанороботов в природной среде будет легко уничтожить взрывом бомбы

Для этого нужно точно знать, где они находятся. Если они уже проникли в город, то взрывать их будет невозможно. Ведь не борются с заразными болезнями с помощью бомб.

10. Ошибочное представление о том, что нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально

Название «наноботы» условно и не означает, что длина нанобота будет равна нескольким нанометрам. Он может быть длиной в 1 микрометр и более, способен к саморазмножению и выполнению множества функций. И при этом невидим. В этом случае он будет содержать миллиарды и даже триллионы атомов.

11. Ошибочное представление о том, что нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер

Внутри любой клетки человека находится ДНК объёмом примерно 500 мегабайт, с которой совершается до миллиона операций в секунду. Этого достаточно для создания довольно сильного компьютера. Это показывает нам достижимый предел плотности вычислений, хотя не обязательно в нанороботах будут использоваться именно ДНК компьютеры. Нанороботы смогут объединяться в локальные сети, усиливая свою вычислительную производительность многократно.