Слишком много цифр

     

      В интерпретации большого количества данных, в частности полученных с высокой точностью, есть следующая опасность. Когда мы получаем много цифр, то возникает соблазн поискать закономерности. А при увеличении объема анализируемых цифр рано или поздно что-нибудь найдется. Так обнаруживают связь между размерами пирамиды Хеопса с расстоянием до Сириуса, или связь вспышек на Солнце с эпидемиями чумы в Средние века и так далее. Лекарство от этого бреда в прикладных областях одно - повторяемый эксперимент. Если он невозможен, ситуация становится качественно сложнее, но это уже сфера не столько метрологии, сколько методологии науки. Вот что по этому вопросу было сказано в статье "Изучение малочисленного - наука и/или религия"

      http://www.pereplet.ru/text/ashkenazi12feb04.html

     

      "Во время анализа уже собранных данных имеет место следующая ситуация. При наименее глубоком анализе получаются тривиальные выводы, очевидные и не интересные. При более глубоком анализе появляются интересные и не очевидные результаты. Интуитивно они воспринимаются как "умопостигаемые", то есть некоторым напряжением мысли удается вместить их в картину мира. При дальнейшем углублении анализа начинает появляться загадочные связи, сложность их понимания растет и наконец они становятся непостижимыми, начинают восприниматься как "шум"".

     

      Соответственно, анализ надо останавливать, когда загадочное начало появляться, но когда его еще не слишком много. В зависимости от традиций области, консерватизма коллег и предполагаемых читателей и собственных вкусов доля загадочного может доходить, как мне кажется, до 10 %, с некоторым риском - до 20 %. Есть в науке и еще одна опасность. Когда получены первые данные, человек начинает строить гипотезы. И в дальнейшем начинает под эти гипотезы - это же его гипотезы! - "подгонять" все дальнейшее. И это не всегда жульничество, иногда это происходит незаметно для него самого, например, посредством отбрасывания "заведомо ошибочных" измерений или "неудачных серий". Физик бы сказал, что этим способом человек вносит в процесс познания неустойчивость. Возможно, что именно так возникла та часть "солнечно-земной физики", которая связывает пятна на Солнце с эпидемиями чумы, существенная часть того, что связано с так называемыми "сверхмалыми дозами" и некоторые другие направления. Новейшие, революционные, прорывные, беспрецедентные, уникальные, абсолютно оригинальные, не имеющие аналогов на Западе и далее.

     

      Человек всегда имеет в голове какую-то гипотезу, причем даже человек, который не только не имеет представления о моделях, но и обидится, если его в этом заподозрят. Видно это из того, что тренды и производные интуитивно кажутся нам информативнее равного количества измерений. Именно потому, что наше умненькое подсознание (которому очень одиноко в таких головах) воспринимает тренд и производную как опирающиеся на какую-то, причем вполне очевидную, гипотезу.

     

      При начале изучения какого-либо вопроса мы всегда располагаем какой-то информацией. Она может в большей или меньшей степени относиться к изучаемому нами объекту, она может быть более или менее подробной, она может быть более или менее достоверной, но она всегда есть. А раз она есть, то она может быть сложена в предчувствие, интуитивную картину, гипотезу. Вопрос - как степень определенности этой недотеории влияет на процесс получения данных?

     

      Если теория хорошо определена, всеми признана, единогласно принята и так далее, то есть риск подгонки результатов под теорию. Причем эта подгонка может быть натуральным жульничеством, "простым, как мычанье", а может быть и совершенно не осознаваемым самообманом. Самый распространенный способ самообмана - отбрасывание "заведомо ошибочных" измерений или "заведомо неудачных серий замеров".

     

      В противоположном случае, когда теории нет совсем, мы находимся в ситуации "очень предварительного наблюдения". Ничего криминального в этом нет, но пренебрежение возможностью работать с какой-то, пусть плохонькой, но гипотезой, увеличивает количество работы по набору данных. С другой стороны, наличие непредвзятого взгляда позволяет надеяться, что мы не пропустим совсем новое явление, если уж оно нам встретится. В реальной же ситуации человек часто ленится разрабатывать теорию, мотивируя это именно целесообразностью непредвзятости и обрекает себя тем самым на лишнюю работу.

     

      Естественно, что истина лежит между Сциллой и Харибдой и важно не пытаться пройти боком, цепляя носом байдарки за одну скалу, ломая руль о другую, и видя разинутые в беззвучном хохоте рты древних греков, прыгающих с видеокамерами по камням.