А.В.Турчин. Глобальные риски, связанные с программой seti

/сверить версию статьи с файлом!!!!!!!/

В данной статье рассматриваются риски, связанные с программой поиска сигналов внеземного разума (SETI – Search of Extraterrestrial Intelligence). В статье предлагается сценарий возможной уязвимости, которая может угрожать самому существованию человеческой цивилизации, и обсуждаются причины, по которым доля опасных сигналов может быть велика. В данной статье не предлагается запретить программу SETI и не утверждается неизбежность SETI-атаки. Более того, указан вариант, когда SETI может служить спасению человечества.

1. История вопроса

В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной [1]. C тех пор развиваются два направления по поиску внеземного разума во Вселенной, – это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (также есть поиски сигналов в оптическом диапазоне и более экзотические варианты) и в виде METI (Messaging to Extraterrestrial Intelligence) – то есть отправки наших сигналов к звёздам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, могущая быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно. Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. В этой статье мы не будем касаться проблематики, связанной с рисками программ METI. В противовес этому пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публикой как полностью безопасная деятельность.

Однако есть и альтернативная точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и, как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.

Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, никаких сигналов пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако в действительности интенсивность поисков значительно выросла, и здесь нужно в первую очередь отметить проект ATA - Allen Telescope Array, который создаётся на частные средства одного из основателей Microsoft Пола Аллена. См. обзор [2]. Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звёзд, в 1970-е – сотен звёзд, а к 1990-м это число выросло до тысячи, то проект ATA предполагает прослушивание миллиона звёзд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Одновременно вести наблюдение будут 350 6-метровых антенн, и мощные компьютеры будут обрабатывать поступающие данные. Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растёт. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумно (с точки зрения принципа предосторожности в оценке рисков) оценить её не менее, чем в 10%. (Хотя ряд исследователей, например Шкловский [3] и Ward [4], считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)

В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приёму и отправке сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции», 2007 [5]. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдёт через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.

Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в своём романе «Андромеда» [6], 1961. (В начале вышел сериал BBC “A for Andromeda”, который, к сожалению, не сохранился, за исключением одной серии, а затем на его основе был написан роман, в котором основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 г.) Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на военные применения и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо того, этот компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.

Ганс Моравек в книге «Дети ума», 1988 [7] предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.

С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью “Следует ли обеззараживать сигналы SETI” [8], которую я перевёл на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-Home. (Суть программы SETI-Home состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а следовательно, случайная загрузка и исполнение опасного кода из космоса невозможны.

В своей статье Кэрриген сосредотачивается на лёгкости передачи гигабайт данных на межзвёздные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от гипотезы о том, что при некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую, и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ; такое кодирование используется в современных системах защиты Blu-ray дисков от копирования, где запись изображения является программой для простейшей машины.)

На Земле был создан CosmicOS (http://cosmicos.sourceforge.net/)– способ записи самодостаточных сообщений, с использованием только 4 символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе всё необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далёким потомкам. И раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.

В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска» [9], где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков с ним связанных существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)

Юдковски показал, что:

• Не существует надёжного способа распознать враждебность ИИ.

• Невозможно удержать ИИ, значительно превосходящий человеческий, в чёрном ящике.

• Невозможно обезопасится от него, просто выключив питание.

Юдковски полагает, что ИИ может быть опасен даже при использовании текстового терминала – а именно, он может «уболтать» человека-оператора и побудить его выпустить ИИ в Интернет. Это может быть сделано с помощью обещаний, угроз, НЛП или предложения некой сделки. Чтобы доказать это, Юдковски провёл AI-Box Experiment (Эксперимент с ИИ в ящике). В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу, и Юдковски старался его (то есть от имени ИИ) убедить выпустить его из ящика. В 3 случаях из 5 люди изменили своё мнение и согласились выпустить ИИ из ящика. Реальный ИИ, вероятно, мог бы вести переговоры ещё эффективнее. Юдковски полагает, что, выйдя в Интернет, ИИ мог бы подчинить его себе за время порядка нескольких часов, кроме того, он мог бы создать собственную нанотехнологическую инфраструктуру, заказав в лабораториях с доставкой необходимые ДНК- ингредиенты и создав простейшую биологическую искусственную жизнь, с возможностью радиоуправления. (Это заняло бы от нескольких дней до недель.) То есть AI Box эксперимент задаёт нижнюю границу возможности – если уж человек человека смог уболтать в 3 случаях из 5, то сверхчеловеческий ИИ может показать ещё лучший результат.

В фантастическом романе В. Винджа «Пламя над бездной» [10] хорошо показана атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи. Также подобная SETI-атаке информационная атака инопланетян служит сюжетом рассказа Онджей Неффа «Белая трость калибра 7,62».