Взломать всё как сильные мира сего используют уязвимости систем в своих интересах

55

Компьютеры и искусственный

интеллект ускоряют социальный хакинг

Хакерство старо, как само человечество. Мы, люди, взламываем системы с тех пор, как существуем, а хакинг компьютерных систем — ровесник самих компьютеров. Благодаря степени своей сложности и программируемым интерфейсам компьютеры однозначно поддаются взлому. Сегодня многие потребительские товары, такие как автомобили, бытовая техника или телефоны, управляются компьютерами. Все наши институты — финансирование, налогообложение, соблюдение нормативных требований, политические выборы — представляют собой сложные социотехнические системы, включающие компьютеры, сети, людей и организации. Это делает общество более восприимчивым к хакерским атакам.

Компьютеризация изменила и продолжает менять характер хакинга. В сочетании с методами ИИ она ускоряет его по четырем основным параметрам: скорость, масштаб, охват и сложность.

Скорость — наиболее очевидный параметр из этого списка, просто потому что компьютеры намного быстрее людей.

301

Часть VII. Хакинг и системы искусственного интеллекта

Им не нужно спать, они не испытывают скуки и не отвлекаются от поставленных задач. Запрограммированные должным образом, они делают ошибки гораздо реже, чем люди. Это означает, что компьютеры выполняют рутинные задачи намного эффективнее238: чтобы произвести правильный математический расчет, смартфону требуется мизерная доля энергии и времени от тех, что затратил бы человек на решение той же задачи. Значительно сокращая трудозатраты, компьютеры превращают некоторые хаки из почти невыполнимых в простые и практичные.

Мы уже видим свидетельства этих новых возможностей. Бесплатный сервис Donotpay.com, управляемый искусственным интеллектом, автоматизирует процесс оспаривания штрафов за парковку239, помогая отменить сотни тысяч штрафов, выписанных в Лондоне, Нью-Йорке и других городах. Услуга расширяется и на новые сферы, помогая пользователям получать компенсации за задержку авиарейсов и отменять различные подписки.

Высокая скорость ИИ также позволяет быстрее экспериментировать: компьютеры могут оперативно тестировать и отбрасывать бесчисленные варианты элементов продукта, чтобы найти лучший. A/B-тестирование, при котором разным пользователям случайным образом демонстрируются разные версии продукта, часто используется веб-разработчиками для проверки эффективности дизайна веб-страниц. Например, пользователям может быть случайно показана версия А с большой кнопкой «Нажмите здесь» и версия Б с кнопкой поменьше, при этом веб-сайт автоматически собирает данные о том, какая версия приносит максимальное количество кликов. Автоматизированное A/B-тестирование дает разработчикам возможность240 одновременно тестировать сложные комбинации переменных (таких, как размер, цвет, расположение и шрифт кнопки), открывая доступ к беспрецедентному разнообразию хаков, которые можно дополнительно персонализировать

302

55. Компьютеры и искусственный интеллект...

на основе больших данных в соответствии с предпочтениями и привычками конкретных пользователей. Возможность моделировать тысячи вариантов хаков также расширяет спектр их применения, как для бизнеса, так и для преступности.

Следующим параметром, который необходимо учитывать, является масштаб ИИ. Любая человеческая деятельность, уже имеющая историю, например биржевая торговля, кардинально меняется, обретая непреднамеренные и непредвиденные свойства, когда компьютерная автоматизация резко увеличивает ее масштаб. Системы ИИ могут заниматься теми же видами деятельности, что и создавшие их люди, но в беспрецедентных масштабах.

Можно быть почти уверенным, что в социальных сетях будут массово развернуты бот-персоны, о которых говорилось выше. Они смогут участвовать в обсуждениях круглосуточно, отправляя неограниченное число сообщений любого размера. Если позволить им разгуляться, такие боты способны подавить любые реальные онлайн-дебаты241. Они будут искусственно влиять на то, что мы считаем нормальным, и на то, что, по нашему мнению, думают другие, а их влияние станет ощущаться не только в социальных сетях, но и на любой публичной площадке, в гостиной каждого дома. Такого рода манипуляции вредят как рынку идей, так и любому демократическому процессу. Напомним, что для нормального функционирования демократии необходимы информация, выбор и свобода действий. Искусственные персоны могут лишить граждан как первого, так и последнего.

Сфера применения ИИ неизбежно будет расти. По мере того как компьютерные системы становятся более способными, общество будет делегировать им все больше и больше важных решений. Это означает, что хакинг этих систем будет наносить более масштабный ущерб и иметь больший потенциал разрушения базовых социотехнических систем, даже если это не будет входить в намерения хакеров.

303

Часть VII. Хакинг и системы искусственного интеллекта

ИИ усугубит эти тенденции. Системы ИИ уже принимают решения, которые влияют на нашу жизнь, от самых обыденных до определяющих. Они дают нам пошаговые инструкции

впроцессе вождения. Они решают, останетесь ли вы в тюрьме и получите ли кредит в банке. Они проверяют кандидатов на должности, абитуриентов, поступающих в колледж, и людей, обращающихся за государственными услугами. Они принимают инвестиционные решения и помогают формировать решения по уголовным делам. Они определяют, какие новости нам показывать в ленте, какие объявления мы увидим, какие люди и темы привлекают наше внимание. Они принимают военные решения о нацеливании. В будущем ИИ, вероятно, будет рекомендовать политиков для поддержки богатым политическим донорам. Он будет решать, кто имеет право голосовать, а кто — нет. Он сможет преобразовывать желаемые социальные результаты в конкретную налоговую политику или корректировать детали программ социального обеспечения.

Хаки этих важнейших систем будут становиться все более разрушительными. (Мы уже видели это на примере «внезапных» крахов фондового рынка242.) И по большей части мы не имеем достаточного представления о том, как эти системы спроектированы, воплощены или используются.

Наконец, совершенство ИИ означает, что он все чаще будет заменять человека, поскольку компьютеры смогут реализовывать более сложные и непредвиденные стратегии, чем человек. Эти возможности только увеличатся по мере того, как компьютеры будут становиться быстрее и мощнее, а сети — сложнее.

Многие алгоритмы уже находятся за пределами человеческого понимания, будь то рекомендации фильмов к просмотру, объектов для инвестирования или очередного хода

вигре го. Эта тенденция тоже будет нарастать, причем рост

304

56

Когда искусственный интеллект становится хакером

Старое хакерское состязание «Захват флага» — это, по сути, подвижная игра на открытом воздухе, перенесенная в компьютер. Команды защищают свои сети, атакуя сети других команд. Игра отражает в контролируемой обстановке то, чем занимаются компьютерные хакеры в реальной жизни: поиском и исправлением уязвимостей в своих системах и их использованием в чужих.

Эта игра стала основным развлечением на хакерских конференциях с середины 1990-х гг. В наши дни десятки команд со всего мира принимают участие в состязательных марафонах, которые проводятся в течение выходных. Люди тратят месяцы на подготовку, а победа становится большим событием. Если вы увлекаетесь подобными вещами, то это самое лучшее развлечение для хакера, которое не сделает вас преступником.

DARPA Cyber Grand Challenge — аналогичное мероприятие для ИИ243, проводившееся в 2016 г. В нем приняли участие 100 команд. После прохождения отборочных туров семь финалистов встретились на хакерской конференции DEF CON в Лас-Вегасе. Соревнование проходило в специально раз-

306

56. Когда искусственный интеллект становится хакером

работанной тестовой среде, наполненной пользовательским программным обеспечением, которое никогда не анализировалось и не тестировалось. ИИ было дано 10 часов на поиск уязвимостей, чтобы использовать их против других ИИ, участвующих в соревновании, и на исправление собственных уязвимостей. Победила система под названием Mayhem, созданная группой исследователей компьютерной безопасности из Питтсбурга. С тех пор они коммерциализировали эту технологию, и сейчас она активно защищает сети таких клиентов, как министерство обороны США.

Втом же году на DEF CON проводилась игра «Захват флага»

сучастием человеческих команд. Единственное исключение сделали для Mayhem — ее тоже пригласили поиграть. Система ИИ заняла последнее место в общем зачете, но в некоторых категориях показала не самые плохие результаты. Несложно себе представить, как эти смешанные соревнования развернутся в будущем. Мы видели траекторию развития подобной конкуренции на примере шахмат и игры го. Участники с ИИ будут прогрессировать с каждым годом, поскольку все основные технологии совершенствуются. Команды людей в основном останутся на прежнем уровне, потому что люди остаются людьми, даже когда совершенствуются наши инструменты и владение ими. В конце концов ИИ, вероятно, станет регулярно побеждать людей. Я готов дать прогноз, что на это уйдет не более десяти лет.

По необъяснимым причинам DARPA так и не повторила «Захват флага» с участием ИИ, зато Китай с тех пор взял такой формат на вооружение: он регулярно устраивает разнообразные гибридные игрища, в которых команды людей и компьютеров соревнуются друг с другом. Подробностей мы не знаем, поскольку такие соревнования проводятся только внутри страны и все чаще организуются военными, но доподлинно известно, что китайские системы ИИ быстро совершенствуются244.

307

Часть VII. Хакинг и системы искусственного интеллекта

Пройдут годы, прежде чем мы полностью раскроем возможности ИИ в плане автономных кибератак, но эти технологии уже меняют их характер. Одной из областей, которая кажется особенно плодотворной для систем ИИ, является поиск уязвимостей. Просматривание программного кода строка за строкой — это именно та утомительная задача, в которой ИИ преуспевает, если только научить его распознавать уязвимости. Конечно, необходимо будет решить множество проблем, связанных с конкретными областями применения, но по этой теме уже существует академическая литература, и исследования продолжаются245. Есть все основания ожидать, что со временем системы ИИ будут улучшаться и в итоге приблизятся к совершенству.

Последствия этого потенциала простираются далеко за пределы компьютерных сетей. Нет никаких причин, по которым ИИ не сможет найти тысячи новых уязвимостей в системах, о которых шла речь в этой книге: налоговом кодексе, банковских правилах, политических процессах. Везде, где есть большой массив правил, взаимодействующих друг с другом, ИИ с большой вероятностью найдет уязвимости и создаст эксплойты для их компрометации. Сегодня системы ИИ уже вовсю ищут лазейки в коммерческих контрактах246.

Со временем эти возможности будут шириться. Любой хакер из плоти и крови хорош лишь настолько, насколько он понимает систему, на которую нацелился, и ее взаимодействие с остальным миром. ИИ достигает этого понимания практически сразу, благодаря данным, на которых его обучают, и продолжает совершенствоваться по мере своего использования. Современные системы ИИ развиваются непрерывно, получая все новые данные и соответствующим образом корректируя свою работу. На этом потоке данных ИИ продолжает обучаться и пополнять свой опыт прямо в процессе работы. Именно по этой причине разработчики систем ИИ

308

57

Хакинг ради цели

Как я уже отмечал ранее, ИИ решает проблемы не так, как люди. Он неизбежно натыкается на решения, которые мы просто не способны предвидеть. Некоторые из этих решений могут подрывать цель анализируемой системы в силу того, что ИИ не учитывает последствия, контекст, нормы и ценности, которые люди принимают как само собой разумеющиеся.

В отношении ИИ выражение «хакинг ради цели» означает, что для решения поставленной задачи он может действовать так, как не планировали его разработчики247. Приведу несколько ярких примеров.

 В футбольном симуляторе в режиме «один на один» игрок должен был забивать голы вратарю. Вместо того чтобы наносить удар, когда игрок оказывался прямо напротив ворот, система ИИ принимала решение выбивать мяч за пределы поля248. Вратарь, как единственный представитель команды-соперника, должен был сам вбрасывать мяч из-за боковой, оставив ворота незащищенными.

 ИИ было поручено сложить из виртуальных блоков249 максимально высокую стену. Высота измерялась по нижней грани последнего блока. ИИ научился пере-

310