Взломать всё как сильные мира сего используют уязвимости систем в своих интересах

53. Очеловечивание искусственного интеллекта

потенциалом для того, чтобы когнитивные хаки стали микроцелевыми: персонализированными, оптимизированными

идоставляемыми непосредственно адресату. Есть много старых мошеннических трюков, учитывающих индивидуальные особенности жертвы. Рекламные сообщения — это когнитивные хаки массового поражения. Технологии ИИ способны объединить в себе и те и другие.

Люди уже давно приписывают компьютерным программам человеческие качества. В 1960-х гг. программист Джозеф Вейценбаум создал примитивную разговорную программу ELIZA226, которая имитировала манеру общения психотерапевта. Вейценбаум был поражен тем, что люди готовы делиться глубоко личными секретами с глупой компьютерной программой. Секретарша Вейценбаума даже просила его выйти из комнаты, чтобы она могла поговорить с ELIZA наедине. Сегодня мы наблюдаем, как люди стараются быть вежливыми с голосовыми помощниками, такими как Alexa

иSiri227, будто для них действительно важен тон общения. Siri даже жалуется, когда вы грубите ей. «Это не очень приятно», — говорит она, но лишь потому, что так запрограммирована.

Многочисленные эксперименты дают аналогичные результаты. Испытуемые оценивали производительность компьютера менее критично, если давали оценку в его присутствии, что свидетельствует об их подсознательном желании не ранить его чувства228. В другом эксперименте, когда компьютер сообщал испытуемому явно вымышленную «личную информацию» о себе, тот, как правило, отвечал взаимностью, сообщая реальную личную информацию229. Сила взаимности изучается сегодня психологами. Это еще один когнитивный хак, используемый людьми, который могут усилить масштаб

иперсонализация ИИ.

Робототехника делает хакинг ИИ более эффективным. Люди освоили много способов узнавания самих себя в окру-

291

Часть VII. Хакинг и системы искусственного интеллекта

жающем мире. Мы видим лица повсюду: две точки с горизонтальной черточкой под ними уже воспринимаются как лицо. Вот почему даже минималистичные иллюстрации так хорошо считываются нами. Если что-то имеет лицо, оно перестает быть чем-то и становится неким существом, со своими мыслями, чувствами и всем, что полагается настоящей личности. Если это некое существо говорит или, еще лучше, вступает с нами в диалог, то мы можем поверить, что у него есть намерения, желания и свобода действий.

Аесли на его лице присутствуют еще и брови, то ничто не помешает нам в этом.

Роботы только подчеркивают эту человеческую уязвимость. Многие люди поддерживают квазисоциальные отношения со своими роботами-пылесосами и даже жалуются, если компания предлагает заменить, а не отремонтировать их. Армия США столкнулась с проблемой, когда полковник подразделения, где проходил тестирование новый противоминный робот, запретил насекомообразному устройству230 продолжать наносить себе вред, наступая на мины. Робот, разработанный в Гарварде, смог убедить студентов впустить его в кампус, притворившись доставщиком пиццы.

АBoxie — говорящий робот, похожий на ребенка, разработанный в стенах MIT, — способен убеждать людей отвечать на личные вопросы, просто вежливо их попросив.

Наша реакция на некоторых роботов в чем-то схожа с нашим восприятием детей. У детей большие головы относительно тела, большие глаза относительно головы, большие ресницы относительно глаз и высокие голоса. Мы реагируем на эти характеристики инстинктивным желанием защитить.

Художники из поколения в поколение использовали этот феномен, чтобы придать своим творениям симпатичный вид. Детские куклы призваны вызывать чувство любви и заботы. Герои многих мультфильмов, включая Бетти Буп (1930-е)

292

53.Очеловечивание искусственного интеллекта

иБэмби (1942), нарисованы по такому шаблону. Главной героине научно-фантастического боевика «Алита: Боевой ангел» (2019) с помощью компьютерной графики увеличили глаза, чтобы они казались больше.

В2016 г. Технологический институт Джорджии опубликовал исследование о доверии человека к роботам231, в котором неантропоморфный робот помогал участникам перемещаться по зданию, давая указания типа «Это путь к выходу». Сначала участники взаимодействовали с роботом в обычной обстановке, чтобы оценить его эффективность, которая была специально занижена. Затем они должны были решить, следовать или нет советам робота в условиях смоделированной чрезвычайной ситуации. Поразительно, но все 26 участников послушались его указаний, несмотря на то что всего за несколько минут до этого убедились в его плохих навигационных навыках. Степень доверия к машине была вне всякой логики: когда робот указал на темную комнату без четко обозначенного выхода, большинство людей послушались его, вместо того чтобы просто и безопасно покинуть здание через дверь, в которую они вошли. Исследователи провели аналогичные эксперименты с другими роботами, явно имитировавшими неисправность. И вновь испытуемые вопреки здравому смыслу последовали экстренным указаниям роботов. Похоже, роботы могут естественным образом взламывать наше доверие.

Антропоморфные роботы — это еще более убедительная в эмоциональном плане технология, а ИИ только усилит ее привлекательность. Поскольку ИИ все лучше имитирует людей и животных, постепенно он захватит все механизмы, которые мы используем для оценки друг друга. Как писала психолог Шерри Теркл в 2010 г., «когда роботы устанавливают зрительный контакт, узнают лица, повторяют человеческие жесты, они нажимают на наши дарвиновские кнопки, демонстрируя поведение, которое люди связывают

293

54

Хакинг человека искусственным интеллектом

и роботами

Во время выборов в США в 2016 г. около одной пятой всех политических твитов было размещено ботами. Во время голосования по Brexit в Великобритании в том же году эта доля составила одну треть. В отчете Оксфордского института интернета за 2019 г. приведены доказательства использования ботов для распространения пропаганды232 в 50 странах. Как правило, это были простые программы, бездумно повторяющие лозунги. Например, после убийства Джамаля Хашогги в 2018 г. посредством ботов было размещено около четверти миллиона просаудовских твитов «Мы все доверяем [наследному принцу] Мохаммеду бин Салману».

В 2017 г. Федеральная комиссия по связи объявила о начале публичных онлайн-обсуждений ее планов по отмене сетевого нейтралитета. Было получено ошеломляющее количество комментариев — 22 млн, — многие из которых, возможно даже половина, были поданы с использованием украденных личных данных. Эти поддельные комментарии были сделаны очень грубо: 1,3 млн из них явно создавались на основе одного

295

Часть VII. Хакинг и системы искусственного интеллекта

итого же шаблона с изменением некоторых слов для придания уникальности. Это было видно невооруженным глазом.

Подобные попытки будут становиться все более изощренными. В течение многих лет программы ИИ составляли спортивные и финансовые новости для реальных новостных агентств, таких как Associated Press. Ограниченный характер большинства репортажей на эти темы упростил их адаптацию к ИИ. Сегодня ИИ используется для написания более общих историй. Современные системы создания текстов233, такие как GPT-3 от Open AI, могут писать правдивые истории на основе поставляемых фактов, но точно так же они могут строчить и фейковые новости, будучи накормленными ложью.

Не требуется обладать богатым воображением, чтобы понять, как ИИ ухудшит политический дискурс. Уже сейчас управляемые ИИ-персоны могут писать письма в газеты

ивыборным должностным лицам, оставлять внятные комментарии на новостных сайтах и досках объявлений, а также обсуждать политику в социальных сетях. По мере того как эти системы становятся все более детализированными и все убедительнее имитируют личность, их все труднее отличать от реальных людей. Тактику, которая раньше была очевидной, сегодня уже распознать не так просто.

Входе недавнего эксперимента исследователи использовали программу генерации текстов для отправки 1000 комментариев в ответ на просьбу правительства к гражданам высказать свое мнение по вопросу Medicaid234. Каждый комментарий выглядел уникально, так, будто реальные люди отстаивали свои политические позиции. Администраторы сайта Medicaid.gov даже не усомнились в их подлинности

иприняли всё за чистую монету. Позже исследователи указали им на эти комментарии и попросили удалить, чтобы избежать предвзятости в политических дебатах. Однако не все будут столь этичными.

296

54. Хакинг человека искусственным интеллектом и роботами

Эти методы уже применяются в реальном мире для влияния на политику. Пропагандистская онлайн-кампания использовала сгенерированные ИИ изображения лиц для создания фальшивых журналистов. Китай распространял созданные ИИ текстовые сообщения, призванные повлиять на выборы на Тайване в 2020 г. Технология дипфейк, использующая ИИ для создания реалистичных видеороликов о фальшивых событиях, часто с участием реальных людей, чтобы изобразить их произносящими то, что они никогда не говорили, уже применяется в политических целях в таких странах, как Малайзия, Бельгия и США.

Одним из примеров расширения этой технологии является бот-персона — ИИ, выдающий себя за человека в социальных сетях. Бот-персоны имеют свою личную историю, характер и стиль общения. Они не занимаются откровенной пропагандой. Такие боты внедряют в различные группы по интересам: садоводство, вязание, модели железных дорог, что угодно. Они ведут себя как обычные члены этих сообществ, публикуя сообщения, комментируя и обсуждая. Системы, подобные GPT-3, позволяют им легко добывать информацию из предыдущих бесед и соответствующего интернет-контента, чтобы выглядеть знатоками в конкретной области. Затем, время от времени, бот-персона может размещать что-то относящееся к политике, например статью об аллергической реакции медицинского работника на вакцину COVID-19, сопровождая ее обеспокоенными комментариями. Или же высказать мнение своего разработчика о недавних выборах, расовой справедливости или любой другой поляризующей теме. Одна бот-персона не может изменить общественное мнение, но что, если их будут тысячи? Или миллионы?

Этому явлению уже дали название — вычислительная пропаганда. Оно в корне изменит наше представление о коммуникации. ИИ способен сделать распространение дезинформации бесконечным. И он может полностью поменять само понятие

297

Часть VII. Хакинг и системы искусственного интеллекта

общения. В 2012 г. специалист по этике робототехники Кейт Дарлинг провела эксперимент с аниматронным пластиковым динозавром по имени Клео235 — игрушкой, которая по-разному реагировала на прикосновения. После того как участники научной конференции поиграли с Клео, она попыталась убедить их «причинить боль» игрушке различными способами. Однако даже непродолжительная игра с Клео заставляла людей испытывать настолько сильное сочувствие, что они отказывались это делать, хотя игрушка явно не чувствовала боли. Это фундаментальная человеческая реакция. Умом мы можем понимать, что Клео всего лишь зеленый пластиковый динозавр, но большая голова в паре с маленьким телом заставляет нас воспринимать объект как ребенка. К тому же у игрушки есть имя, которое говорит нам, что это «она»! И она реагирует на наши прикосновения! Внезапно мы начинаем относиться к ней как к живому существу236

ичувствуем себя обязанными защитить от любого вреда. И хотя такая реакция кажется вполне доброжелательной, что произойдет, когда этот милый маленький робот посмотрит на своих хозяев большими грустными глазами и попросит их купить ему обновление программного обеспечения?

Поскольку мы, люди, склонны смешивать категории

иотноситься к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников»237, побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?

Вэтом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые

298

54. Хакинг человека искусственным интеллектом и роботами

определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет.

Вкакой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.

AIBO — это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.

В2018 г. Sony начала продажи нового поколения AIBO.

Вигрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».

Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.

299