1.3 Проблемы вычисления вероятностей различных сценариев

Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...».¹⁰

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также — с хаотическим характером всей системы.

С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом, получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится глобальная катастрофа, имевшая оценку вероятности в 0,1 %, мы всё равно не узнаем, какова была действительно вероятность, поскольку это однократное событие, и не понятно, из какого множества делается выборка. Иначе говоря, сам факт катастрофы ничего не скажет нам о том, было ли это закономерное событие, или нам просто очень не повезло.

Я исхожу из того, что оценки вероятности нужны, прежде всего, для принятия решений о том, каким проблемам стоит уделить внимание и ресурсы, а какими можно пренебречь. Однако, цена предотвращения разных классов проблем различна: одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой¹ и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных сценариев), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.

Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI в., а риск Б – 50 % во второй половине, то наши реальные шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.

Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания цивилизации за 100 лет, 75 % за 200 и 99,9 % за 1000 лет.) Это означает, что любой риск, заданный на некотором промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 %-ую вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [0; T] равна:

P(T) = 1 – 2 ,

Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров, вычисленное с помощью вышеприведенной формулы для разных начальных условий.

Таблица 1. Связь ожидаемого времени существования цивилизации с погодовой вероятностью вымирания.

T0 — период, за который глобальная катастрофа случится с вероятностью 50 %:	P(1) — вероятность глобальной катастрофы в ближайший год, %	P(100) — вероятность вымирания цивилизации за 100 лет (то есть к 2107г). %	1–P(100) — шансы выживания цивилизации за 100 лет:	Период гарантированного вымирания с вероятностью 99,9 %, лет:
10 000	0.0069 %	0,7 %	99,3 %	100 000
1 600	0.0433 %	6 %	94 %	16 000
400	0.173 %	12,5 %	87,5 %	4 000
200	0.346 %	25 %	75 %	2 000
100	0.691 %	50 %	50 %	1 000
50	1,375 %	75 %	1 к 4	500
25	2,735 %	93,75 %	1 к 16	250
12,5	5,394 %	99,6 %	1 к 256	125
6	10,910 %	99,9984 %	1 к 16 536	60

Обратите внимание на нижнюю часть этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада» T₀, который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка (сделать 1–P(100) как можно выше), нам надо приблизить погодовую вероятность вымирания P(1) практически к нулю.

В нашей методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составит не более одного процента, результат может отличаться от правильного в разы и даже на порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. (А именно, челнок был рассчитан на одну аварию на 1000 полётов, но первый раз разбился уже на 25-ом полёте, что, как подчёркивает Юдковски, говорит о том, что оценка безопасности в 1 к 25 была бы более правильной, что в 40 раз меньше исходной оценки; реакторы строились с расчетом одна авария на миллион лет, но первая масштабная авария произошла через примерно 10.000 станций-лет эксплуатации, то есть, оценка безопасности в 100 раз более низкая была бы более точной.) Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждениях, влияющие на оценку глобальных рисков»¹¹ приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 %-й уверенности они дают для этих величин. Результаты этих экспериментов удручают. Позволю себе большую цитату:

«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, когда вы уверенны на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98 %-й уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98 %-ых интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2 %, случались в 42.6 % случаев.

Другую группу из 35 испытуемых попросили оценить 99.9 %-е верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47 % случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38 % случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98 %-е интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19 % случаях, что являет собой значительное улучшение их результата в 34 % до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2 %.

Подобные уровни ошибок были обнаружены и у экспертов. Хинес и Ванмарк опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 %-й уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристиен-Салански и Бушихед опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Лихтенштейн производит обзор 14 исследований на основании 34 экспериментов, выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Бюхлер попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Бюхлер попросил студентов оценить время сдачи дипломных работ, в котором они уверены на 50 %, на 75 % и на 99 %. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили к 99 % уровню. Бюхлер пишет: “результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты”¹²»

Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала. Насколько же мы должны расширить границы уверенности?

Обозначим величиной N степень расширения интервала уверенности для некой величины A. Интервал уверенности будет следующим: (A/N; A×N). Например, если мы оценили некий показатель в 10 %, и взяли N=3, то интервал получится (3 %; 30 %). Разумеется, если мы оцениваем вероятность, то интервал не должен расширяться за пределы 100 %. Каково должно быть N для глобальных рисков, пока сказать трудно. Моя оценка — N=10. В этом случае, мы получаем довольно широкие интервалы уверенности, в которые, скорее всего, попадёт искомая величина. При этом, интервалы уверенности будут различны для различных видов риска (так как их вероятности мы оцениваем по-разному).

Другой способ определения N – изучить среднюю ошибку, допускаемую экспертами, и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100 (см. выше), говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении.

Это обобщение не снижает ценности таких вычислений, поскольку разница вероятностей различных рисков может составлять несколько порядков. А для принятия решения о важности противостояния той или иной опасности нам нужно знать порядок величины риска, а не точное значение.

Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить, в лучшем случае, с точностью до порядка (причём, точность такой оценки будет плюс-минус порядок) и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга проблемы¹. Подобными примерами шкал являются Туринская и Палермская шкалы риска астероидной опасности.

Одиннадцатибальная (от 0 до 10) Туринская шкала астероидной опасности «характеризует степень потенциальной опасности, грозящей Земле со стороны астероида или ядра кометы. Балл по Туринской шкале астероидной опасности присваивается малому телу Солнечной системы в момент его открытия в зависимости от массы этого тела, возможной скорости и вероятности его столкновения с Землей. По мере дальнейшего исследования орбиты тела его балл по Туринской шкале может быть изменен»¹³. Ноль означает отсутствие угрозы, десять – вероятность более 99 % падения тела диаметром более 1 км. Палермская шкала отличается от Туринской тем, что учитывает также и время, оставшееся до падения астероида: чем времени меньше, тем выше балл. Балл по Палермской шкале вычисляется по специальной формуле¹⁴.

Интересно было бы создать аналогичную шкалу для оценки рисков глобальных катастроф, ведущих к человеческому вымиранию. Поскольку результат любой катастрофы такого рода по определению один и тот же, то масштаб здесь учитывать не нужно. С другой стороны, принципиальное значение приобретает степень неопределённости нашего знания о риске и наша способность его предотвратить. Таким образом, шкала глобальных катастроф должна отражать три фактора: вероятность глобальной катастрофы, достоверность сведений о данном риске и вероятность того, что данный риск удастся предотвратить.

В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):

1. Неизбежные события. Оценка их вероятности – порядка 100 % в течение XXI века. Интервал уверенности: (10 %; 100 %)

2. Весьма вероятные события – оценка вероятности порядка 10 %. (1 %; 100 %)

3. Вероятные события – оценка порядка 1 %. (0,1 %; 10 %)

4. Маловероятные события – оценка 0,1 %. (0,01 %; 1 %)

5. События с ничтожной вероятностью – оценка 0,01 % и меньше. (0 %; 0,1 %)

Пунктами 4 и 5, казалось бы, можно пренебречь, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако, ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможны несколько десятков разных сценариев с вероятностью 0,1 % – 10 %, то в сумме это даёт разброс вероятности 1 % - 100 %. К неизбежным событиям относится только тот факт, что в течение XXI века мир существенно изменится.

Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100 %? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90 %. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже составляла 90 %. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в то же самое время, не может просто складываться с вероятностями других глобальных рисков.

В нашем примере шансы машины доехать до конца пути равны 1 % ((1–0.9)х(1–0.9)=0.01) а шансы того, что причиной аварии может стать каждый из двух рисков – 49,5 %. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1 % машин, но распределение вкладов каждого риска будет иным: 90 % машин разобьётся на первом участке дороги из-за шин, и только 9 % на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия.

В наших рассуждениях мы будем широко пользоваться «принципом предосторожности», то есть, мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же параметрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности (см. выше цитату из него), что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий¹⁵. При расширении вероятностных промежутков нам следует уделять внимание, в первую очередь, расширению в худшую сторону, то есть — в сторону увеличения вероятности и уменьшения оставшегося времени. Однако, если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, и то, и другое появится через пару десятков лет.

В экономике применяется следующий метод предсказания – опрос ведущих экспертов о будущем некого параметра и вычисление среднего. Очевидно, это не позволяет узнать действительное значение параметра, но позволяет сформировать «best guess» – наилучшее предположение. Тот же метод можно применить, с определённой осторожностью, и для оценки вероятности глобальных катастроф. Допустим, в отношении глобального потепления из тысяч экспертов только один говорит, что она наверняка приведёт к полному вымиранию человечества. Тогда применение этой методики даст оценку вероятности вымирания, равную 0,1 %.

Высказанные в данном разделе соображения о расчёте вероятностей пригодятся нам при дальнейшем исследовании и классификации катастроф. Напомним их:

• экспоненциальный характер роста суммарной вероятности при постоянной погодовой вероятности,

• необходимость расширения границ уверенности, даваемых экспертами,

• необходимость применения байесовой логики при вычислении поправок к известным вероятностям,

• применение шкал, вроде Туринской, для оценки разных рисков,

• влияние на оценку вероятности одного глобального риска вероятностей других рисков и порядка их следования

• применение принципа предосторожности для выбора наихудшей реалистичной оценки.