6.8 Скорость старта

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.

«Быстрый старт» – ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы «захватить власть на Земле». При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.

Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.

6.9 Сценарии «быстрого старта»

• ИИ захватывает весь Интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка нескольких часов. Захват имеет в виду возможность управлять всеми машинами в сети и производить на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.

• Ии заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе для внедрения в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (скорость: дни.)

• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведения людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание исполнения самого заветного желания, шантаж или скрытое внушение.

• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из фильма «Терминатор»).

• Ии находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

• Некая последовательная или параллельная комбинация названных способов.