Взломать всё как сильные мира сего используют уязвимости систем в своих интересах

57. Хакинг ради цели

ворачивать этот блок так, чтобы его нижняя грань была обращена вверх и стена казалась выше. (Очевидно, что в правилах не было четких указаний относительно того, как должны быть ориентированы блоки.)

 В моделируемой среде для «эволюционирующих» существ ИИ было разрешено изменять физические характеристики своего персонажа, чтобы лучше достигать разных целей. Когда исследователи поставили перед ИИ задачу как можно быстрее пересечь далекую финишную черту, они ожидали, что тот отрастит персонажу длинные ноги, увеличит объем мышц или легких. Но вместо этого ИИ сделал своего персонажа достаточно высоким250, чтобы тот пересек финишную черту, просто упав на нее.

Все это хаки. Вы можете подумать, что дело в плохой формулировке задач, и будете правы. Вы можете указать на то, что все это происходило в симулированной среде, и тоже будете правы. Но проблема, которую иллюстрируют эти примеры, является более общей: ИИ создан оптимизировать свои функции для достижения цели. При этом он может естественным образом непреднамеренно внедрять неожиданные хаки.

Представьте, что роботу-пылесосу251 поручено убирать любой мусор, который он увидит. Если цель не определена более точно, он может просто отключить или прикрыть непрозрачным материалом свои визуальные датчики, чтобы не видеть грязь. В 2018 г. один предприимчивый — а возможно, и просто скучающий — программист решил, что не хочет, чтобы его робот-пылесос постоянно натыкался на мебель252. Он настроил систему обучения таким образом, чтобы она поощряла робота, когда тот не задевал препятствия датчиками. Однако вместо того, чтобы перестать натыкаться на мебель, ИИ научился водить пылесос задним ходом,

311

Часть VII. Хакинг и системы искусственного интеллекта

поскольку на задней части устройства попросту не было датчиков — все они размещались спереди.

Если в наборе правил есть нестыковки или лазейки и если они могут привести к приемлемому решению, то ИИ найдет их. Взглянув на такие результаты, мы можем сказать, что технически ИИ следовал правилам. Но все же мы будем чувствовать в этом отклонение и обман, потому что понимаем социальный контекст проблемы так, как не понимает его ИИ. Просто у нас другие ожидания. Исследователи называют эту проблему «согласованием целей».

Ее хорошо иллюстрирует миф о царе Мидасе. Когда бог Дионис готов исполнить его единственное желание, Мидас просит, чтобы все, к чему он прикоснется, превращалось

взолото. В итоге Мидас умирает от голода и несчастий, поскольку вся еда, питье и даже его дочь превращаются

внепригодное для употребления в пищу и безжизненное золото. Это не что иное, как проблема согласования целей: Мидас неверно запрограммировал цель в своей системе желаний.

Джинны в сказках тоже весьма привередливы к формулировкам желаний и могут быть злонамеренно педантичны, исполняя их. Но перехитрить джинна невозможно. Что бы вы ни пожелали, джинн всегда сможет исполнить это так, чтобы вам захотелось все отменить. Джинн всегда сможет хакнуть ваше желание.

Вболее общем смысле наши цели и желания всегда недостаточно конкретны253. Мы никогда не представляем себе всех возможных вариантов. Мы никогда не формулируем все нюансы, исключения и оговорки. Мы просто не способны перекрыть все пути для хака. Любая цель, которую мы укажем, обязательно будет неполной.

Это приемлемо в человеческих отношениях, потому что люди понимают контекст и обычно действуют добросовестно. Мы все социализированы и в процессе становления познаем,

312

57. Хакинг ради цели

что значит здравый смысл в отношении людей и окружающего мира. Мы заполняем любые пробелы в нашем понимании контекстом и доброй волей.

Философ Эбби Эверетт Жак, в то время руководитель проекта MIT по этике ИИ, объяснил это так: «Если бы я попросил вас принести мне кофе, вы, вероятно, пошли бы к ближайшему кофейнику и наполнили чашку, а может быть, дошли бы до кофейни на углу. Вы бы не привезли мне грузовик с сырыми кофейными зернами. И не купили бы кофейную плантацию в Коста-Рике. Вы также не стали бы вырывать из рук чашку кофе у первого попавшегося человека. Холодный кофе недельной давности или грязную салфетку, пропитанную искомым напитком, вы бы тоже не принесли. Мне не нужно было бы все это уточнять в своей просьбе. Вы и так прекрасно понимаете, что значит “принести кофе”».

Точно так же, если я попрошу вас разработать технологию, которая при прикосновении превращает вещи в золото, вы не станете создавать ее такой, чтобы она морила меня голодом. Мне не нужно было бы указывать это, вы бы это просто знали.

Мы не можем полностью указать цели для ИИ, а ИИ не сможет полностью понять контекст. В своем выступлении на TED исследователь ИИ Стюарт Рассел пошутил о гипотетическом ИИ-помощнике254, который, для того чтобы оправдать опоздание своего хозяина на званый ужин, устраивает сбой в компьютерной системе самолета, в котором тот летит. Аудитория оценила шутку, но ведь на самом деле откуда компьютерной программе знать, что вмешательство в работу систем летящего самолета не является адекватным ответом на подобную просьбу? Возможно, она обучилась на данных отчетов о пассажирах, пытавшихся сделать нечто подобное255. (В 2017 г. в интернете ходила шутка. Джефф Безос: «Алекса, купи мне что-нибудь в Whole Foods». Алекса: «ОК, покупаю Whole Foods».)

313

Часть VII. Хакинг и системы искусственного интеллекта

В 2015 г. компания Volkswagen была уличена в мошенничестве с тестами на выбросы. Компания не подделывала их результаты; вместо этого она разработала для своих автомобилей бортовые компьютеры, которые бы обманывали контрольные устройства. Инженеры запрограммировали их таким образом, чтобы они определяли, когда автомобиль проходит тест на выбросы. Компьютер включал систему контроля выбросов на время теста и отключал ее по его окончании. На самом же деле автомобили Volkswagen, демонстрирующие превосходные ходовые качества, выбрасывали до 40 раз больше допустимого количества оксида азота, но только тогда, когда за этим не следило Агентство по охране окружающей среды США (EPA).

История Volkswagen не связана с искусственным интеллектом — обычные инженеры запрограммировали обычную компьютерную систему на обман, — но тем не менее она хорошо иллюстрирует проблему. Более десяти лет компании сходило с рук мошенничество только потому, что компьютерный код сложен и трудно поддается анализу. Непросто понять, что именно он делает, и точно так же непросто было понять, что делает автомобиль. До тех пор пока программисты хранят свой секрет, подобный хак, скорее всего, будет оставаться необнаруженным. Единственная причина, по которой сегодня мы знаем об уловке Volkswagen, заключается в том, что группа ученых из Университета Западной Вирджинии неожиданно проверила выбросы автомобилей на дорогах с помощью системы, отличной от системы EPA. Поскольку программное обеспечение было разработано для обхода системы EPA, ученым удалось провести измерение выбросов незаметно для бортового компьютера.

Если бы я попросил вас разработать программное обеспечение для управления двигателем автомобиля, чтобы обеспечить максимальную производительность и при этом пройти тесты на выбросы, вы бы не стали разрабатывать его,

314

58

Защита от хакеров с искусственным интеллектом

Очевидные хаки не единственная проблема. Если навигационная система вашего беспилотного автомобиля решает задачу поддержания высокой скорости за счет того, что автомобиль просто носится по кругу, программисты заметят такое поведение и соответствующим образом скорректируют цель ИИ. Но на дороге мы никогда не увидим подобного поведения. Наибольшее беспокойство вызывают менее очевидные взломы, которых мы даже не замечаем.

Многое было написано о рекомендательных системах256 — первом поколении тонких хаков ИИ — и о том, как они подталкивают людей к поляризованному контенту. Они не были запрограммированы на это изначально. Такое свойство системы приобрели естественным образом, постоянно пробуя что-то, оценивая результаты, а затем модифицируя себя, чтобы действовать, повышая вовлеченность пользователей. Алгоритмы рекомендаций YouTube и Facebook научились предлагать пользователям более экстремальный контент, потому что он вызывает сильные эмоциональные реакции, и именно это заставляет людей проводить больше времени на платформе. Довольно простая автоматизиро-

316

58. Защита от хакеров с искусственным интеллектом

ванная система сама нашла этот хак. И большинство из нас в то время не осознавали, что происходит.

Аналогичным образом в 2015 г. ИИ научился играть в аркадную видеоигру 1970-х гг. Breakout. ИИ ничего не сообщали о правилах или стратегии игры. Ему просто дали управление и награждали за набор максимального количества очков. То, что он научился играть, неудивительно: все и так этого ожидали. Однако ИИ самостоятельно открыл и оптимизировал до не досягаемого людьми уровня тактику «туннелирования» сквозь кирпичную стену, чтобы отбивать мяч от ее обратной стороны.

Ничто из сказанного здесь не станет новостью для исследователей ИИ, и многие из них в настоящее время рассматривают способы защиты от взлома ради цели. Одним из решений является обучение ИИ контексту. Наряду с проблемой согласования целей исследователи рассматривают проблему согласования ценностей, чтобы создать ИИ, который лучше бы понимал человека. Решение этой проблемы можно представить как две крайности. С одной стороны, мы можем

вформе прямых указаний закачать в ИИ наши ценности. В какой-то мере это можно сделать уже сегодня, но такой подход уязвим для всех описанных выше хаков. С другой стороны, мы можем создать ИИ, который изучит наши ценности, возможно наблюдая за людьми в действии или взяв

вкачестве входных данных человеческую историю, литературу, философию и т. д. Это проект на много лет вперед, и, вероятно, именно такой подход задаст ряд свойств общему ИИ. Большинство же современных исследований колеблется между этими двумя крайностями.

Несложно представить себе вопросы, которые возникнут, когда ИИ придет в соответствие с человеческими ценностями. Чьи ценности он должен будет отражать? Сомалийского мужчины? Сингапурской женщины? Или нечто среднее между ними, что бы это ни значило? Люди часто придерживаются

317

Часть VII. Хакинг и системы искусственного интеллекта

противоречивых ценностей и бывают непоследовательны, пытаясь жить в соответствии с ними. Ценности отдельно взятого человека могут быть иррациональными, аморальными или основанными на ложной информации. История, литература и философия тоже полны иррациональности, безнравственности и ошибок. Люди в принципе далеки от собственных идеалов.

Наиболее эффективная защита от любых хаков основана на выявлении уязвимостей, то есть на обнаружении и устранении хакерских атак еще до того, как они будут совершены. В этом могут существенно помочь технологии ИИ, тем более что они могут работать на сверхчеловеческих скоростях.

Однако вспомните, о чем мы говорили, когда рассматривали компьютерные системы. Как только ИИ станет способен обнаруживать новые уязвимости в программном обеспечении, фору получат все стороны, а значит, и правительственные хакеры, и криминал, и любители. Они смогут использовать новые уязвимости для компрометации компьютерных сетей по всему миру. Это поставит под угрозу всех нас.

Но та же самая технология будет более эффективно работать на безопасность, поскольку обнаруженная уязвимость может быть устранена навсегда. Представьте себе, что компанияразработчик программного обеспечения сможет внедрять ИИ-детектор уязвимостей непосредственно в код программы. Уязвимости будут найдены и устранены еще до того, как программное обеспечение будет выпущено. Тестирование может идти автоматически в процессе разработки. Таким образом, хотя и нападение, и защита будут иметь доступ к одной и той же технологии, защита сможет использовать ее для постоянного повышения безопасности своих систем. Мы можем надеяться на будущее, когда уязвимости программного обеспечения уйдут в прошлое. «Помните первые десятилетия вычислительной техники, когда хакеры взламывали программы через уязвимости? Вот было безумное времечко!»

318

58. Защита от хакеров с искусственным интеллектом

Конечно, переходный период простым не будет. Новый код может быть безопасным, но старый все еще будет уязвим. Злоумышленники сосредоточат свои ИИ-инструменты на автоматическом поиске уязвимостей в уже действующем старом коде, который часто невозможно исправить. Однако в долгосрочной перспективе технология ИИ для поиска уязвимостей в программном обеспечении благоприятствует тем, кто защищает системы от вторжений и нанесения им вреда.

Это утверждение справедливо и для более широких социальных систем. Когда ИИ начнет находить уязвимости в политических, экономических и социальных системах, они будут использоваться в преступных целях. Более того, эти взломы могут способствовать интересам тех, кто контролирует системы ИИ. Индивидуально подобранная реклама намного убедительнее, а значит, она будет оплачена теми, в чьих интересах работает. Когда ИИ обнаружит новую налоговую лазейку, можно не сомневаться, что к ней тут же появится эксплойт, потому что те, кто имеет доступ к системе ИИ, захотят снизить свое налоговое бремя. Хакинг в значительной степени укрепляет существующие структуры власти, а ИИ будет усиливать их еще больше, если мы не научимся преодолевать существующий дисбаланс.

Однако, как и в случае компьютерных систем, та же самая технология будет полезнее стороне защиты257. Хотя ИИ-хакеры могут найти тысячи уязвимостей в существующем налоговом кодексе, эта же технология может быть использована для оценки потенциальных уязвимостей в любых новых законопроектах или постановлениях, касающихся сферы налогообложения. Последствия этого радикально изменят правила игры. Представьте себе, что по такому принципу проверяется новый налоговый закон. Законодатель, наблюдательная организация, журналист или любой заинтересованный гражданин могут проанализировать текст законопроекта с помощью системы ИИ, чтобы найти уязвимости.

319