Взломать всё как сильные мира сего используют уязвимости систем в своих интересах
.pdf48. Защита от когнитивных хаков
уменьшив возможности микротаргетирования. Если платные сообщения в соцсетях, особенно политическая реклама, будут довольствоваться широкой аудиторией, это затруднит использование целого ряда когнитивных хаков в неблаговидных целях.
Однако любые новые правила рано или поздно будут взломаны. Поэтому контроля, пусть даже надежного и гибкого,
атакже прозрачности недостаточно, чтобы гарантировать защиту от когнитивных хаков и отучить людей от их использования. Задача усложняется еще и тем, что многие из этих хаков наносят вред, который в моменте кажется абстрактным,
апроявляется спустя какое-то время, и потому довольно трудно объяснить, что с ними «не так».
Когнитивные хаки играют на самых базовых и общих аспектах человеческого разума, начиная с инстинкта выживания и заканчивая стремлением к социальному статусу. Они могут быть использованы против кого угодно. Чтобы защититься от когнитивных хакеров, необходимы усилия всего общества в сферах образования и регулирования, а также технические решения, особенно в онлайн-среде. Поскольку цифровые технологии занимают все больше нашего времени, когнитивные хаки все чаще осуществляются с помощью машин. А поскольку компьютерные программы из хакерских инструментов сами превращаются во все более быстрых, мощных и автономных хакеров, понимание того, как цифровые продукты могут взламывать наше сознание, приобретает все более важную роль для защиты от манипуляций.
49
Иерархия хакинга
Ни одна система не существует изолированно, всегда являясь частью иерархии.
Представьте себе человека, который хочет украсть деньги посредством онлайн-банкинга. Он может хакнуть веб-сайт банка, интернет-браузер клиента, операционную систему или аппаратное обеспечение его компьютера. Все эти взломы потенциально могут достичь своей цели — кражи денег.
Теперь представьте себе человека, который хочет платить меньше налогов. Очевидно, что он будет взламывать налоговый кодекс и искать в нем лазейки. Но если у этого человека есть власть и влияние, он может подняться на уровень выше и хакнуть законодательный процесс, который формирует налоговый кодекс. Поднявшись на два уровня выше, он сможет хакнуть нормотворческий процесс, используемый для реализации законодательства, или же процесс ассигнований, чтобы в налоговых органах возник дефицит сотрудников, задействованных в налоговых проверках. (Хакинг процесса правоприменения — это еще один способ подорвать цель системы.) Если наш хакер поднимется на три уровня вверх, он займется взломом политического процесса, используемого для избрания законодателей. На следующем, четвертом по счету уровне он сможет взломать медиаэкосистему, которая служит для обсуждения политических процессов.
272
49. Иерархия хакинга
Последний, пятый уровень — это уровень хакинга когнитивных процессов, спровоцированных медиаэкосистемой, в результате которых избираются законодатели, создающие налоговый кодекс, предоставляющий ему лазейки. Для этого он даже может спуститься на уровень ниже, чтобы найти уязвимости и эксплойты в программе подготовки налогов.
Я пытаюсь сказать, что иерархия систем — это иерархия возрастающей общности, в которой вышестоящая система управляет нижестоящей. И хакеры могут атаковать любой из этих уровней. Хакинг использует иерархию взаимосвязанных систем. Хакнуть какую-то обособленную систему или манипулировать ею порой очень непросто, но системы более высокого уровня, которые управляют ею, или системы нижестоящие, реализующие ее команды, могут стать богатым источником эксплойтов, которые сами по себе, оставаясь на своем уровне иерархии, не представляют опасности.
В технологических системах продвижение вверх по уровням затруднено. Тот факт, что Microsoft Windows имеет уязвимости, не гарантирует, что кто-то может взломать процесс найма сотрудников корпорации Microsoft, чтобы поставить себя в положение, позволяющее внедрить еще больше уязвимостей в операционную систему. В социальных системах такое продвижение вверх значительно проще, особенно для тех, у кого есть деньги и влияние. Джефф Безос без проблем купил самый большой дом в Вашингтоне213, чтобы развлекать законодателей и влиять на них, и газету The Washington Post, один из самых авторитетных источников новостей в США. Разумеется, еще проще для него нанять программистов, чтобы написать такое программное обеспечение, которое он захочет.
Некоторые хакеры работают на нескольких уровнях одновременно. В 2020 г. мы узнали о Ghostwriter214, группе предположительно российского происхождения, которая взломала системы управления контентом нескольких восточноевро-
273
Часть VI. Хакинг когнитивных систем
пейских новостных сайтов и разместила фейковые истории. Это обычный хакинг компьютерных систем, подключенных
кинтернету, в сочетании с хакингом доверия аудитории
кновостным сайтам с хорошей репутацией.
Устранением уязвимостей тоже проще заниматься на более низких уровнях иерархии систем. Уязвимость в TurboTax может быть исправлена за несколько дней. Устранение лазейки в налоговом кодексе может растянуться на годы. Когнитивные уязвимости легко могут существовать несколько человеческих поколений (хотя конкретные тактики их эксплуатации, возможно, придется регулярно менять).
Это делает когнитивные хаки самыми опасными из всех. Они управляют нашими действиями, как индивидуальными, так и коллективными, а значит, и нашими социальными системами. Если вы можете взломать человеческий мозг, то ничто не мешает вам использовать эти методы на избирателях, служащих, бизнесменах, регуляторах, политиках
иподобных вам хакерах, подталкивая их к изменению систем обитания по вашему усмотрению.
Сегодня когнитивный хакинг несет в себе новые угрозы. Наш мозг не единственная когнитивная система, о которой нам нужно беспокоиться. Государственные услуги, бизнестранзакции и даже основные социальные взаимодействия теперь опосредуются цифровыми системами, которые так же, как и люди, делают прогнозы и принимают решения, но намного быстрее, последовательнее и при этом менее ответственно, чем мы. Машины все чаще принимают решения за нас, но думают иначе, чем мы, и взаимодействие нашего разума с ИИ указывает хакерам путь к захватывающему
иопасному будущему в сферах экономики, права и не только.
Часть VII
Хакинг и системы
искусственного
интеллекта
50
Искусственный
интеллект и робототехника
Искусственный интеллект (ИИ) — это информационная технология. Она представляет собой программное обеспечение для компьютеров и уже глубоко внедрилась в нашу социальную структуру, причем не только там, где мы это видим и осознаем, но и в области, пока недоступные нашему пониманию. Эта технология хакнет наше общество так, как никто и ничто доселе.
Мое утверждение базируется на двух предпосылках. Во-первых, системы ИИ будут непревзойденным инструментом для хакеров-людей. А во-вторых, они сами станут хакерами. ИИ будет находить уязвимости во всех видах социальных, экономических и политических систем, а затем использовать их с беспрецедентной скоростью, масштабом, размахом и изощренностью. Это не просто разница в интенсивности, это качественно иной хакинг. Мы рискуем оказаться в будущем, где системы ИИ будут взламывать другие системы ИИ, а последствия этого, которые обрушатся на людей, будут не более чем сопутствующим ущербом.
Это может показаться преувеличением, но ничего из того, что я описываю, не требует научно-фантастических технологий
277
Часть VII. Хакинг и системы искусственного интеллекта
далекого будущего. Я не постулирую никакой «сингулярности», когда цикл обратной связи при обучении ИИ становится настолько быстрым, что опережает человеческое понимание. В моих сценариях нет ни злых гениев, ни разумных андроидов вроде Дейты из «Звездного пути», R2-D2 из «Звездных войн» или Марвина из «Автостопом по галактике». Не потребуется таких мощных и вредоносных системы ИИ, как Скайнет из «Терминатора», Альтрон из «Мстителей» или агент Смит из «Матрицы». Некоторые хаки, о которых я расскажу, даже не предполагают серьезных научных открытий. Да, они будут совершенствоваться по мере развития технологий ИИ, но уже сегодня мы можем видеть намеки на их появление. Эти хаки возникнут естественным образом, по мере того как ИИ будет становиться все более совершенным в обучении, понимании и решении проблем.
Определение
Искусственный интеллект, ИИ
(англ. artificial intelligence, AI).
1.Компьютер, который (как правило) может воспринимать, думать и действовать.
2.Общий термин, охватывающий широкий спектр технологий принятия решений, которые имитируют человеческое мышление.
Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом215: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как216 «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., приду-
278
50. Искусственный интеллект и робототехника
манная им по аналогии с игрой в имитацию*, ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.
Здесь необходимо провести различие между специализированным, или узким, и общим ИИ. Общий ИИ мы часто видим в фильмах: он может чувствовать, думать и действовать схожим с человеком образом по широкому спектру задач. Если по сюжету он умнее людей, то обычно говорят об «искусственном сверхинтеллекте». Соедините его с робототехникой и получите андроида, более или менее похожего на человека. Роботы, которые пытаются уничтожить человечество в фильмах, — это тоже общий ИИ.
Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты
вдействии, вероятно, пройдут еще десятилетия217. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.
Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать
внепредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать
* Игра в имитацию (англ. imitation game) — популярная игра для вечеринок с участием трех игроков. Двое, мужчина и женщина, расходятся в разные комнаты, а третий, «дознаватель», посредством наводящих вопросов и ответов в письменной форме пытается определить, кто из них кто. При этом один игрок пытается помочь «дознавателю», то есть отвечает правдиво, а другой старается его запутать, то есть прикидывается существом другого пола. — Прим. пер.
279
Часть VII. Хакинг и системы искусственного интеллекта
на основе этих знаний решения, но только в сфере, ограниченной вождением.
Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.
Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фанта- стического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды — температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.
280