Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта

1. Разброс мнений по вопросу о безопасности ии означает отсутствие реальных доказательств безопасности

Специалисты по компьютерам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их в качестве примеров ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл в Интернете опрос среди разработчиков ИИ³²³, на тему того, что является гарантией безопасности ИИ, и получил следующий разброс мнений, с примерно одинаковым числом людей, придерживающимся того или иного мнения. Итак, «ИИ является безопасным, потому что»:

1. потому что ИИ невозможен.

2. потому что Ии может решать только узкие задачи, вроде распознания образов.

3. потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона робототехники Азимова.

4. Потому что я знаю, как использовать ИИ во благо людям.

5. Потому что Ии будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.

6. Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.

7. Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.

8. потому что у ИИ не может быть своей воли.

9. ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.

10. Потому что ИИ не может сделать ничего плохого.

11. ИИ может быть опасен, но, скорее всего, всё обойдётся.

12. Нет, ИИ опасен, и мы все обречены.

13. Ии уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.

В ходе опроса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают исследователи ИИ в целом, равна нулю.

2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код

Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. Это верно и насчёт систем целеполагания, каковыми, например, являются законы. Не следует рассчитывать, что мы сможем создать свод правил поведения для ИИ, несодержащий ошибок.

3. Ошибки в критике ии Пенроузом

Р. Пенроуз в книге «Новый ум короля»³²⁴ утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые квантовые процессы, которые необходимы для творческого мышления и сознания³²⁵. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам:

1. Квантовая природа сознания – это далеко не мэйнстрим науки. Мы не можем основывать безопасность человечества на недоказанной (хотя и интересной) теории.

2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно – например, фон Нейман доказал возможность самовоспроизводящихся механизмов³²⁶.)

3. Для того чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный Ии может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция – это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. Достаточно сказать, что опасный ИИ – это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег – это разновидности таких игр.

4. Если некие особые квантовые функции выполняются нейронами или микротрубками, то ничто не мешает использовать их как элементы будущего мощного ИИ – например, в виде внешнего сопроцессора. Квантовые компьютеры являются одним из вариантов реализации. В конце концов, сильный Ии может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру). И на худой конец, если обнаружится класс задач, доступных человеку, но не доступных компьютеру, возможна ситуация прямой эксплуатации людей для решения этих задач, при этом каждый из людей не будет знать, как именно будет применяться его решение. Так, например, работают сейчас спамерские программы – они просят людей на своём сайте с «клубничкой» распознать контрольные цифры на рисунке, взятом с другого сайта, и таким образом получают доступ к этому другому сайту. При этом людей используют вслепую, так как люди не знают, что результаты их распознавания будут использованы в другом месте. Похожим образом государство нанимает учёных для разработке оружия.

5. Значительное число важных задач можно решить перебором, то есть путём осуществления конечного числа операций. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации. Возможно, что решение тех задач, от которых может зависеть судьба человечества, вполне возможно перебором, даже если существуют некоторые задачи, которые перебором не решаются за время существования Вселенной.

6. Если удастся доказать, что сознание всё-таки обладает квантовой природой, это откроет новый мир возможностей, а значит и новых рисков.