24. Санкт-Петербургский парадокс
Этот парадокс имеет прямое отношение к глобальным катастрофам, поскольку показывает то, что бесконечно большой ущерб от крайне редких событий имеет больший вес, чем все остальные события, однако психологически люди не готовы это воспринять. Г.Г. Малинецкий так описывает этот парадокс в книге «Риск. Устойчивое развитие. Синергетика»: «Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:
.
Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц»
25. Различие между опасностью и риском
Риск создаётся принимаемыми решениями, а опасности – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения об их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.
26. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей полагают нулевой
Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта.
27. Упущение того, что безопасность системы определяется наиболее слабым её звеном
Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.
28. Отвержение гипотез без рассмотрения
Для того, чтобы отвергнуть некую гипотезу, её надо вначале рассмотреть. Но часто эта последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.
29. Невычислимость
Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.
Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)
Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).
Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.
Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.
Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)
Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.
Невычислимость, связанная с предположением о собственном местоположении (self-sampling assumption – см. об этом книгу Н.Бострома320). Суть этого предположения состоит в том, что в некоторых ситуация я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. Это иногда позволяет делать предсказания на будущее: а именно, если в России 100 миллиардеров, то шансы, что я стану миллиардером, составляют один к 1,5 миллионам, в предположении, что эта пропорция будет сохраняться. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном местоположении к своим собственным знаниям. Например, если я знаю, что только 10 % футурологов дают правильные предсказания, то я должен заключить, что с шансами 90 % любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной оценки рассматривают себя не как одного из представителей множества, а как «элиту» этого множества, обладающей повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: «Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю».
Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости – а именно невозможности для обычного человека ухватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённости в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую «no trade theorem»321.) Идеальный рынок находится в равновесии, в котором половина игроков считает, что товар будет дорожать, а половина – что дешеветь. Иначе говоря, выиграть в игре с нулевой сумме может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. (В результате чего, например, большинство водителей считают себя более аккуратными водителями, чем среднестатистический водитель.) например, цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек выбрал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации – и при этом вы полагаете, что вы также являетесь средним, человеком, а не особенным, что особенно трудно -, а также о своём объективном рейтинге, то есть шансы 50 на 50, что он прав, а не вы. Поскольку объективно измерить свой интеллект и осведомленность крайне трудно из-за желания их переоценить, то следует считать их находящимися в середине спектра.
Поскольку в современном обществе действуют механизмы превращения любых будущих параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.
Ещё одна причина невычислимости – секретность. Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне»322 о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.
Рыночные механизмы побуждают людей лгать о качествах их товаров и о прогнозах своих фирм, с тем, чтобы получить бОльшую выгоду на интересующем их промежутке времени. Яркий пример этого мы видим в последствиях так называемой «революции менеджеров», когда управленцы сменили собственников в директорате фирм в 70е годы. В результате они стали более заинтересованы получать краткосрочную прибыли в течение срока своей работы в компании, не рассматривая риски для компании за пределами этого срока.
Психологический аспект этой проблемы заключается в том, что люди рассуждают так, как если бы никакой невычислимости не было. Другими словами, можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.