Взломать всё как сильные мира сего используют уязвимости систем в своих интересах
.pdf46. Доверие и авторитет
кументам в целом. В 2019 г. видеозапись давно пропавшего с экранов действующего президента Габона203 Али Бонго, который, как считалось, находился в тяжелом состоянии или уже умер, была названа его противниками «глубокой подделкой» и послужила спусковым крючком для военного путча, оказавшегося, впрочем, неудачным. Это было настоящее видео, но откуда неспециалист мог знать, какое из утверждений является правдой?
Объедините эти методы с уже существующими и будущими технологиями ИИ, которые позволят ботам создавать и убедительно воспроизводить реалистичные тексты — сообщения, монологи и диалоги, — и вы получите технологии, которые полностью хакнут наше представление о том, кто или, точнее, что является или не является человеком.
Мы видели подобные подделки в действии во время президентских выборов в США в 2016 г. BuzzFeed обнаружил 140 фальшивых новостных сайтов204 с доменными именами, похожими на настоящие ресурсы, и сенсационными заголовками, которые пользовались большим успехом в Facebook. Это стало началом волны новых сайтов, замаскированных под авторитетные источники информации. Такие доменные имена, как BostonTribune.com, KMT11.com и ABCNews.com.co, выглядели вполне официально и обманули многих читателей, заставив поверить в дезинформацию. Такие сайты, как The Tennessee Star, Arizona Monitor и Maine Examiner, были созданы, чтобы выглядеть как традиционные газеты, но распространяли при этом политическую пропаганду.
Многие исторические индикаторы доверия больше не работают. Печатные книги и телевизионные новости считались авторитетными источниками, поскольку издательская и вещательная отрасли выступали в роли привратников публичного поля. Доверие, основанное на подобной схеме, не имеет под собой оснований применительно к интернету. Сегодня любой может опубликовать что угодно в виде книги. Бумажную
261
Часть VI. Хакинг когнитивных систем
газету по-прежнему трудно подделать, но сымитировать ее в формате веб-сайта несложно. Раньше сигналом о надежности и платежеспособности банка служило солидное здание, в котором он размещался; теперь эту роль выполняет графика
идизайн веб-сайта.
Ямогу привести еще больше примеров хакинга, основанного на вероломстве. Спонсированный контент соответствует
форме и функциям платформы, на которой он размещен, но на самом деле является платной рекламой. (Большинство платформ, впрочем, отмечают такой контент как спонсированный.) Отзывы клиентов, которыми сегодня пестрит интернет, могут выглядеть правдоподобно, но их легко подделать. То и дело всплывает информация о фальсификации профессиональных полномочий: грабители выдают себя за сотрудников иммиграционных служб, чтобы отбирать деньги у новых мигрантов, доктора наук выдают себя за врачей, чтобы торговать шарлатанскими снадобьями, мошенники выдают себя за налоговых инспекторов, чтобы получить доступ к компьютерам и паролям честных налогоплательщиков.
И последнее: наши когнитивные системы доверия привыкли иметь дело с людьми. Мы не приспособлены оценивать надежность организаций, брендов, корпораций и т. п. Отсюда возникли маскоты — милые узнаваемые персонажи, олицетворяющие бренд, — и положительные отзывы знаменитостей. Рекламодатели уже десятилетиями придают брендам человеческое лицо и запускают наши когнитивные системы доверия.
Некоторые бренды даже обзавелись узнаваемыми сетевыми личностями: рестораны быстрого питания Wendy’s выступают в Twitter в образе саркастичного тролля, а от лица Amazon прославился персонаж, гневно реагирующий на критиков компании в правительстве. И все это для того, чтобы имитировать человечность и завоевать доверие так же, как это
262
46. Доверие и авторитет
делают влиятельные лица и политики. По мере того как компании и политические движения все чаще используют ИИ для оптимизации своего присутствия в социальных сетях и поддаются искушению запускать фальшивые аккаунты, чтобы создать впечатление поддержки широких слоев населения, доверие к ним вскоре может возникнуть даже у матерых скептиков.
47
Страх и риск
Наше чувство страха является врожденным. Оно развивалось на протяжении тысячелетий: наши предки учились избегать хищников, а также представителей своего вида, которые вредят другим ради собственной выгоды. Подобно системам внимания, рассмотренным выше, наша система страха базируется на когнитивных штампах: она тоже проходила оптимизацию в условиях нашего эволюционного прошлого.
Это базовые функции, в основном контролируемые миндалевидным телом в стволе головного мозга205. Анализ вероятностей и рисков не является нашей сильной стороной. Мы часто склонны преувеличивать значение впечатляющих, странных и редких явлений, а значение обычных, знакомых и распространенных, наоборот, преуменьшать. Мы полагаем, что редкие риски встречаются чаще, чем это происходит на самом деле. И мы боимся их больше, чем это следует по теории вероятности.
Многие психологи пытались объяснить это, и один из их ключевых выводов состоит в том, что люди реагируют на риск, больше опираясь на яркие истории, чем на данные. Истории увлекают нас на интуитивном уровне, особенно если они захватывающие или очень личные. Рассказ друга о том, как его ограбили в другой стране, с большей вероятностью
264
47. Страх и риск
повлияет на то, насколько безопасно вы будете чувствовать себя во время поездки туда, чем абстрактная статистика преступлений. Новизна + страх + хорошая история = чрезмерная реакция.
Последствия этого можно видеть во всем. Мы боимся быть убитыми, похищенными, изнасилованными или подвергнуться нападению со стороны незнакомцев, в то время как статистически гораздо более вероятно, что преступник, совершивший такие преступления, окажется нашим родственником или другом. Нас беспокоят крушения самолетов и стрелки-одиночки, а не аварии на дорогах и домашнее насилие, хотя два последних явления распространены намного шире и статистически они смертоноснее. Мы не имели, а некоторые из нас до сих пор не имеют представления о том, как реагировать на риски COVID-19, которые индивидуально малы, коллективно огромны, чрезвычайно чувствительны к небольшим изменениям в социальных условиях и постоянно меняются вслед за мутациями вируса.
Терроризм напрямую взламывает эти когнитивные штампы206. Как индивидуальный риск он незначителен. В результате терактов 11 сентября погибли около 3000 человек, и еще около 300 погибли в США от террористических атак за два последующих десятилетия. С другой стороны, 38 000 человек ежегодно погибают в автокатастрофах — это около 750 000 смертей за тот же промежуток времени. От COVID-19 в США погибло более миллиона человек. Но терроризм придуман для того, чтобы сломать всякую логику. Это ужасающее, яркое, зрелищное, непредсказуемое для жертв, злонамеренное явление — именно то, что заставляет нас преувеличивать риск и слишком остро реагировать. Страх овладевает нами, и мы идем на компромиссы в вопросах безопасности, о которых раньше даже не задумывались. Это хакерские атаки на коллективные страхи и инстинкты общества.
265
Часть VI. Хакинг когнитивных систем
Политики тоже занимаются хакингом системы страха. Если вы сможете доказать, что ваша политическая программа обеспечит безопасность и устранит угрозы, которые чаще всего обсуждаются в новостях, то получите поддержку. Люди могут перенимать страхи от политических инфлюэнсеров или коллег, даже не имея соответствующего личного опыта. Избиратель, живущий в северном Нью-Хэмпшире, может испытывать сильный страх перед иммигрантами на южных границах США, даже если у него не было опыта общения с выходцами из Центральной Америки. Как сказал Билл Клинтон, «когда люди не уверены в себе, они предпочитают ориентироваться207 на кого-нибудь сильного и неправильного, чем на слабого и правильного».
Трибализм — это система коллективной групповой идентичности. Мы запрограммированы объединяться в группы и дистанцироваться от тех, кто в них не входит. Уязвимость этой системы заключается в том, что мы формируем группы по любому поводу, даже если в этом нет никакого смысла. Когда ребенком я проводил лето в лагере, вожатые организовали игру под названием «Война цветов». По сути, весь лагерь на целую неделю случайным образом оказался разбит на две группы: на «красных» и «золотых». Мы больше не ели и не играли вместе. Эффект проявился мгновенно. Мы вдруг стали хорошими парнями, а «они» — врагами. Я уже не помню, какого был цвета, но хорошо помню это ощущение поляризации, внезапного ожесточения против тех, кто еще вчера были моими друзьями.
Есть три основных способа использовать уязвимость нашего трибализма. Первый из них состоит в укреплении существующей групповой идентичности и разделении на группы. Именно к нему прибегло российское Агентство интернетисследований, больше известное как «фабрика троллей», в период перед выборами 2016 г. в США, используя такие тактики, как пожертвование денег партизанским организациям
266
47.Страх и риск
ипровоцирование конфликтов на онлайн-форумах. Основная установка этой кампании звучала как «Найти трещины» — то есть найти существующие в обществе трещины, которые можно углубить до серьезных разногласий между группами.
Второй способ — намеренное формирование обособленных групп с некой скрытой целью. Этим часто грешили колониальные правительства в XIX и XX вв. В Руанде немцы
ибельгийцы, управлявшие регионом, превратили экономические особенности хуту (земледельцев) и тутси (скотоводов) в серьезные этнические и классовые различия, что в итоге спустя десятилетия привело к геноциду. Сегодня бренды используют, хотя и с меньшей интенсивностью, аналогичные стратегии в продажах любых товаров — от кроссовок
игазировки до квартир и автомобилей.
Третий способ — создать условия для естественного возникновения трибализма. То есть взять уже существующие группы, объединенные по родству интересов, и возвести это родство до уровня «племени». Такой подход характерен для спортивных команд, но все чаще к нему прибегают политические партии и партийные деятели.
Нет сомнений, что на канале Fox News знакомы с результатами исследований, доказывающих, что усиление чувства тревоги связано со все более плотным примыканием к «своим» группам и нарастанием страха перед «чужими». Когда Fox выпускает сюжеты на такие темы, как «Иммигранты заберут ваши рабочие места»208, «[Подставьте название любого города] кишит преступностью и опасен»209, «ИГИЛ* представляет угрозу для американцев»210 и «Демократы собираются забрать ваше оружие»211, он не только заручается общественной поддержкой по этим вопросам, а создает условия, при которых группы становятся поляризованными.
*Запрещенная на территории Российской Федерации террористическая организация.
267
Часть VI. Хакинг когнитивных систем
Аналитика данных и автоматизация оказывают все большую поддержку хакингу чувства групповой идентичности. В то же время трибализм настолько укрепил свои позиции и способность разобщать людей, что подобные хакерские атаки — особенно проведенные с цифровой скоростью и точностью — могут иметь катастрофические последствия для общества. И это не зависит от того, была атака целевой (российские хакеры) или же стала побочным эффектом работы ИИ, который просто не понимает, какой ценой для людей оборачивается его эффективность (рекомендательные системы социальных сетей).
48
Защита от когнитивных хаков
Сообщество пикаперов объединяет мужчин, которые разрабатывают и делятся манипулятивными методами соблазнения женщин. Оно возникло еще до появления общедоступного интернета, позже перекочевало в него и сегодня процветает. Многие пикаперские приемчики напоминают когнитивные хаки. Например, неггинг. По сути, это двусмысленный комплимент с элементом критики или язвительным комментарием, намеренно сделанный для того, чтобы усилить потребность жертвы в эмоциональном одобрении со стороны манипулятора. Да, знаю, это цинично.
Я понятия не имею, работает ли неггинг и прочие пикаперские лайфхаки. Мужчины, которые обсуждают их в интернете, склонны к бахвальству и приводят массу анекдотических доказательств своей неотразимости, но часто отделить ложь от плохой научной методологии бывает непросто. Читая истории женщин, ставших жертвами этих хакерских атак, понимаешь: лучшая защита — знание. Если вы знакомы с тактикой неггинга, то сможете ее предвидеть и вовремя распознать.
Предвидение ускоряет регрессию к среднему. Иными словами, многие когнитивные хаки хорошо работают поначалу,
269
Часть VI. Хакинг когнитивных систем
но по мере того, как люди к ним адаптируются, становятся все менее эффективными. Когда в 1994 г. в интернете появилась баннерная реклама, ее кликабельность составляла 49%; сейчас этот показатель составляет менее 1%. Всплывающая реклама демонстрировала аналогичный спад, когда стала раздражающе вездесущей. Скорее всего, та же динамика постигнет микротаргетинг, капельное ценообразование, фальшивые аккаунты Facebook и прочие ухищрения, о которых шла речь в последних главах. По мере того как мы привыкаем к этим тактикам, они становятся менее эффективными.
Однако предвидение не дает абсолютной защиты212. Многие когнитивные хаки работают даже тогда, когда мы понимаем, что нами манипулируют. Если человек поверил во что-то, он часто сохраняет приверженность своим убеждениям и даже укрепляется в них, когда ему предъявляют явные доказательства их неправоты. Конкретный пример: компании часто используют бесплатные пробные версии с последующей автоматически включающейся ежемесячной подпиской, чтобы взломать готовность потребителя платить. Расчет строится на том, что люди обычно переоценивают возможности своей памяти и умение делать все точно в срок, и, даже если они признают за собой этот недостаток и постоянно собираются отменить подписки на услуги, которые им не нужны, все равно большинство из них ведется на очередные бесплатные версии, а компании продолжают списывать ежемесячную абонентскую плату.
Другой способ защититься от когнитивных хаков — объявить определенные манипулятивные практики незаконными. Австралия, например, обязала продавцов раскрывать полную цену товара сразу, чтобы предотвратить капельное ценообразование, а Федеральная торговая комиссия США требует, чтобы рекламные заявления были «разумно обоснованы». Мы можем снизить эффективность некоторых из этих хаков и, следовательно, сделать их менее опасными,
270
