9.4. Техника вычислений коэффициента корреляции. При вычислении коэффициента корреляции исходят из выражения (9.1.18), поэтому расчет удобно вести по формуле:

, (9.4.1)

где и - суммы квадратов центральных отклонений для рядов х и y, а - сумма попарных произвелений центральных отклонений. Техника нахождения соответствующих сумм: ; ; ; ; , - представлена в таблице 9.4.1.

Таблица 9.4.1

Расчет выборочного значения коэффициента корреляции зависимости гигроскопической влажности (y, %) от влажности условного монослоя (х, %).

	хi	yi			xy
	0,90	0,08	0,8100	0,0064	0,0720
	1,00	0,11	1,0000	0,0121	0,1100
	1,08	0,09	1,1664	0,0081	0,0972
	1,20	0,11	1,4400	0,0121	0,1320
	1,27	0,10	1,6129	0,0100	0,1270
	1,36	0,12	1,8496	0,0144	0,1632
Σ	6,81	0,61	7,8789	0,0631	0,7014

;

;

;

.

При вычислении коэффициента корреляции по данным, представленным в виде корреляционной таблицы, нахождение сумм S может осуществляться на основе средних значений по интервалам разбиения случайных значений признаков и с учетом соответствующих частот: ; ; ; ; , где j = 1, 2, ..., k; k - число классов по признаку Х, l = 1, 2, ..., m; m - число классов по признаку Y, f_j - частота класса с серединой , f_l - частота класса с серединой , f_jl - частота для сочетания классов и .

9.5. Корреляционное отношение. Корреляционное отношение является более общей мерой связи и может использоваться для установления тесноты связи, во-первых, не только при нормальном распределении анализируемых признаков, но и при любом другом виде их распределения, а, во-вторых, и в случае нелинейной связи между ними. Поскольку наравне с зависимостью y/x может представлять интерес и обратная зависимость x/y, особенно в случаях, когда причинно-следственные связи не установлены, обычно вычисляют два показателя η_y/x η_x/y. Формулы для вычисления этих показателей идентичны, поэтому рассмотрим только случай зависимости y/x. Корреляционное отношение для этого случая определится равенством:

, (9.5.1)

где - полная дисперсия Y; - средняя условная дисперсия, то есть средняя дисперсия величины Y около математических ожиданий μ_y/x, вычисленных для значений Х по отдельным интервалам разбиения. Условные математические ожидания μ_y/x также образуют распределение с общим центром μ_y и дисперсией , поэтому:

, (9.5.2)

то есть общая дисперсия состоит из двух частей: - средней дисперсии Y около математических ожиданий μ_y/x и - дисперсии условных математических ожиданий μ_y/x около общего центра μ_y. Соответственно равенство (9.5.1) можно переписать в виде:

, (9.5.3)

Если все значения Y легли на одну линию регрессии, то будет, очевидно, равно нулю, а корреляционное отношение (9.5.1) - единице. Такой случай отвечает функциональной зависимости. Если же намного больше (разброс индивидуальных значений y_i значительно больше, чем разброс условных математических ожиданий μ_y/x), то дробь будет близка к единице, а величина близка к нулю. Такой случай отвечает наличию весьма слабой связи между показателями. Величина может оказаться равной нулю и при выполнении существенно иных условий: когда все значения μ_y/x равны. В этом случае дисперсия условных математических ожиданий станет равной нулю и также обратится в ноль. Такой случай отвечает отсутствию связи между показателями.

Корреляционное отношение может изменяться от единицы - функциональная связь - до нуля - отсутствие связи. Между двумя корреляционными отношениями η_y/x и η_x/y нет прямой зависимости. Если η_y/x = 0, это не означает, что и η_x/y обязательно будет равно нулю. Более того, возможны случаи, при которых одно из этих отношений принимает нулевое значение, а второе оказывается близким к единице.

В практических приложениях приходится пользоваться не генеральными значениями дисперсий и , а их оценками и . Соответственно выборочное корреляционное отношение вычисляется по формуле:

, (9.5.4)

где - выборочная оценка дисперсии Y, а - выборочная оценка дисперсии условных средних , вычисляемая по формуле:

. (9.5.5)

9.6. Корреляция трех случайных переменных. Прочностные, деформационные и некоторые другие свойства пород, представляющие основной интерес для инженер-геологов, определяются совместным влиянием большого числа факторов (состав и строение грунтов, их плотность, влажность, консистенция и т.д.), которые находят отражение в различных показателях. Использование парных связей, т.е. связей между исследуемым и любым другим показателем свойств грунтов, характеризующихся в большинстве случаев невысокой теснотой, как правило, не обеспечивает надежной корреляции.

Более эффективно использование множественной корреляции, когда одновременно учитывается влияние многих факторов, выраженных разными показателями. Множественная корреляция используется также для исследования трендов, то есть зависимостей различных величин (главным образом, показателей свойств грунтов) от координат пространства.

Общий подход к исследованию множественной корреляции аналогичен процедуре, используемой при исследовании парных связей, которая будет рассмотрена в главе 10, и поэтому здесь будет изложен кратко. Если распределение обеих переменных приближается к нормальному, исследуемая зависимость может быть выражена в общем виде уравнением второй степени:

, (9.6.1)

где - любой показатель свойств пород, рассматриваемый как функция двух переменных; х, y - любые показатели свойств пород, рассматриваемые как аргументы исследуемой зависимости. Уравнение (9.6.1) представляет собой уравнение плоскости. Для вычисления коэффициентов а, b, с можно использовать метод наименьших квадратов:

, (9.6.2)

, (9.6.3)

, (9.6.4)

где , , - выборочные оценки математических ожиданий рассматриваемых признаков. Решив эти уравнения относительно b и с и выполнив некоторые преобразования, получим:

, (9.6.5)

, (9.6.6)

Значение коэффициента а определяется подстановкой полученных значений в исходное уравнение (9.6.2).

Коэффициент корреляции при наличии трех переменных вычисляется по формуле:

, (9.6.7)

где , , - коэффициенты парной корреляции.

9.7. Частный коэффициент корреляции. Коэффициент корреляции отражает связь между случайными величинами Х и Y в данных условиях эксперимента. Среди второстепенных условий при этом могут быть факторы, в большей или меньшей мере оказывающие влияние на какую-либо одну или на обе случайные величины. Это влияние может быть прямым или опосредованным, но в любом случае его надо учитывать при исследовании характера изучаемой связи.

В эксперименте далеко не всегда имеется техническая возможность стабилизировать тот или иной фактор на заданном уровне, но, если в качестве одной из случайных величин, например Z, этот фактор может быть измерен наряду с Х и Y, то связь между Х и Y при исключении влияния Z можно оценить. Коэффициент корреляции, характеризующий подобную связь, получил название частного коэффициента корреляции. Его принято обозначать буквами ρ или r (соответственно для константы или ее оценки) с индексами, указывающими, между какими признаками связь оценивается, а через точку - при исключении какого признака.

В случае, когда между любой парой признаков из X, Y и Z связь не очень сильно отличается от прямолинейной и степень связи оценивается парными коэффициентами корреляции , и , то частный коэффициент корреляции между признаками Х и Y при исключенном влиянии Z можно вычислить по формуле:

. (9.7.1)

Так, если в некоторой серии экспериментов связь между относительной деформацией набухания суглинков (Y) и коэффициентом агрегированности (X) оценивается , а между относительной деформацией набухания и содержанием физической глины (Z) - , то естественно возникает вопрос, не является ли связь между Х и Y следствием всего лишь того, что относительная деформация набухания зависит от содержания физической глины, а поскольку от последнего зависит степень агрегированности грунта, то наличие связи между относительной деформацией набухания и коэффициентом агрегированности представляется вполне естественным.

Подтверждением правомерности таких соображений служит и то, что между содержанием физической глины и коэффициентом агрегированности в исследованной выборке грунтов связь весьма велика: . Возникающие в этой ситуации предположения могут быть проверены либо постановкой специальных опытов, либо путем вычисления частного коэффициента корреляции , что, очевидно, проще (хотя равноценность этих подходов не очевидна). Согласно формуле (9.7.1):

. (9.7.2)

Как видим, зависимость относительной деформацией набухания от величины коэффициента агрегированности при исключенном влиянии содержания физической глины оценивается очень маленькой величиной коэффициента корреляции. Относительно высокая величина коэффициента корреляции явилась, очевидно, следствием того, что относительная деформация набухания прямо или косвенно связана с содержанием физической глины, а величина коэффициента агрегированности в определенной степени является косвенной оценкой содержания физической глины.

9.8. Коэффициент корреляции Спирмена. Рассмотренные выше коэффициенты корреляции вычисляются и интерпретируются исходя из допущения о нормальности распределения обеих случайных величин. И хотя к малым отклонениям от нормальности коэффициент корреляции не очень чувствителен, в тех случаях, когда о законе распределения ничего не известно, а тем более, когда есть серьезные основания думать, что одна или обе случайные величины имеют распределения, заметно отличные от нормального или "засоренные" сильно отклоняющимися от основной массы значениями, целесообразно прибегать к характеристике меры коррелированности с помощью коэффициента корреляции Спирмена ρ_s (или его оценки r_s).

Коэффициент корреляции Спирмена относится к категории так называемых ранговых статистик. Для его вычисления необходимо значения х_i и у_i в корреляционном ряду заменить их рангами R(х_i) и R(у_i). Для этого значения каждой случайной величины ранжируются (см. § 3.3) и в порядке возрастания им приписываются ранги от 1 до п, где п - объем выборки. Ранги представляют собой целые числа 1, 2, ..., п, соответствующие номеру занимаемого места в ранжированной последовательности. Если два или большее число значений имеют одинаковую величину, им обычно приписывается одинаковый ранг, равный среднему значению из номеров, занимаемых этими значениями мест.

К примеру, в корреляционном ряду, отражающем связь между влажностью условного монослоя (х_i) и гигроскопической влажностью (у_i) по результатам анализа п = 6 образцов:

хi	1,00	1,08	1,20	1,27	1,30	1,36
уi	0,11	0,09	0,11	0,10	0,08	0,12

Заменив х_i и у_i на их ранги R(х_i) и R(у_i), получим корреляционный ряд:

R(хi)	1	2	3	4	5	6
R(уi)	4,5	2	4,5	3	1	6

Очевидно, при положительной связи меньшим рангам R(x_i) должны соответствовать меньшие ранги R(у_i), а при отрицательной - меньшим значениям рангов R(x_i) будут соответствовать большие ранги R(у_i). Неустойчивость в таких соотношениях должна соответствовать снижению тесноты связи вплоть до ее отсутствия, когда любому рангу одного признака может соответствовать любой ранг другого признака. Коэффициент корреляции Спирмена, отражающий меру связи, вычисляется по формуле:

, (9.8.1)

где , т.е. попарная разность рангов.

Коэффициент корреляции Спирмена может принимать значения от-1 до +1. В рассматриваемом примере, поскольку ряд разностей имеет вид d_i: -3,5; 0; -1,5; 1; 4; 0, - и , получаем .

Вычисленные на основании результатов выборочных экспериментов значения r_s оказываются оценками некоторых генеральных значений этих коэффициентов ρ_s. Чтобы иметь уверенность в том, что связь, характеризуемая подобным образом есть, нужно оценить значимость коэффициента корреляции r_s, т.е. значимость его отличия от нуля. Таким образом, нулевая гипотеза имеет вид Н₀: ρ_s = 0. Альтернативой этой гипотезы чаще всего выступает предположение Н₁: . Проверку нулевой гипотезы осуществляют сопоставлением r_s с критическим значением для заданного уровня значимости α и соответствующего объема корреляционного ряда n, которые табулированы. При нулевая гипотеза отвергается с уровнем значимости α и делается заключение о наличии связи. В нашем примере п = 6, а что существенно больше полученного , поэтому говорить о наличии связи между Х и Y у нас нет серьезных оснований.

Критическое значение при п > 10 можно оценить с хорошим приближением по формуле:

, (9.8.2)

где t_α - критерий Стьюдента для . При n > 40 хорошую оценку можно получить по более простой формуле:

. (9.8.3)

Для иллюстрации устойчивости коэффициента корреляции Спирмена к единичным "выбросам" значений обратимся к рассмотренному примеру. Можно установить, что обычный коэффициент корреляции здесь столь же мал (r = 0,04), как и . Теперь допустим, что в исходном корреляционном ряду последнее значение х_i оказалось не 1,36, а 1,86. Очевидно, что это не повлечет за собой изменения соответствующего ранга, а поэтому и коэффициент корреляции Спирмена останется без изменения. Но обычный коэффициент корреляции при этом возрастет до r = 0,43.

Коэффициент корреляции Спирмена с успехом может быть использован для оценки наличия закономерного изменения переменной во времени или пространстве, если такое изменение не слишком отличается от линейного. Отличная от случайной последовательность, проявляющаяся в повышении (или понижении) случайной величины вдоль некоторой линии, именуется линейным трендом. Поскольку коэффициент корреляции Спирмена является мерой линейной связи между рангами, то о наличии линейного тренда можно судить по . В этом случае оценивается связь между рангом переменной и номером (рангом) места этой переменной в пространственной (или временной) последовательности.

Так, если 10-кратное измерение мощности инженерно-геологического элемента А вдоль некоторой линии через каждые 0,5 м дало результаты (х_i, см):

хi

5

7

6

10

9

12

12

11

14

12,

наталкивающие исследователя на предположение, что эта последовательность неслучайна, то, заменив последовательность х_i последовательностью их рангов R(x_i), и приписав i-му месту в пространственной последовательности ранг R_i, численно равный i, получим корреляционный ряд:

хi	1	2	3	4	5	6	7	8	9	10
R(xi)	1	3	2	5	4	8	8	6	10	8

Ряд попарных разностей d_i при этом оказывается равным:

di

0

-1

+1

-1

+1

-2

-1

+2

-1

+2

Поскольку n = 10 и , получаем . Сравнение с критическим значением показывает, что при n = 10 , а значит с большой уверенностью можно утверждать (риск ошибиться в этом утверждении не превышает 1%), что мощность элемента А линейно связана с положением точки промера вдоль линии опробования и увеличивается от начала линии к ее концу (об этом свидетельствует положительный знак у ). Иначе говоря, можно утверждать, что в изменении мощности горизонта А имеется линейный тренд, к тому же весьма отчетливо выраженный, поскольку близок к единице.

Коэффициент корреляции Спирмена может быть использован и для оценки степени связи, когда один или оба признака оказываются измеренными на порядковой шкале. Так, один из признаков может представлять собой, например, степень окрашенности образца грунта в черный цвет, если образцы по этому признаку ранжировать, а затем приписать им соответствующий ранг в получаемой последовательности.

В заключение следует заметить, что приписывание смежным в ранжированной последовательности значениям х_i или у_i одинаковых рангов не может не сказаться на значении коэффициента корреляции Спирмена, вычисляемого по формуле (9.8.1). И хотя можно считать достаточно устойчивым к замене нескольких разных рангов в их последовательности на одинаковые ранги, равные средним их значениям, при большом числе усредняемых рангов, а тем более когда усреднение приходится делать на относительно большой группе рангов, коэффициент корреляции Спирмена следует вычислять по формуле, учитывающей такое усреднение:

, (9.8.4)

где Т представляет собой уменьшенную в 12 раз сумму произведений числа т смежно расположенных усредненных рангов на квадрат этого числа без единицы:

, (9.8.5)

где l = 1, 2, ..., k; k - число групп усредненных рангов, т_l - число усредненных рангов в l-й группе ( ). Индексы у Т показывают, что соответствующая величина находится для ряда рангов в совокупности признака Х или Y.

Для иллюстрации техники вычислений в подобной ситуации допустим, что 15 образцов грунта, в которых было определено содержание органического углерода, были ранжированы по окраске (по выраженности у образцов серого цвета). В отличие от содержания углерода (признак X), где одинаковых значений не оказалось, и ранги R(x_i) со значениями от 1 до 15 (п = 15) нигде усреднять не пришлось, окраска грунта (признак Y) у ряда образцов оказалась настолько сходной, что в ранжированной по окраске последовательности ряду образцов пришлось приписывать одинаковые ранги R(y_i). В окончательном виде корреляционный ряд получил вид:

R(xi)	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
R(yi)	2	2	2	4	6,5	5	6,5	9	9	11,5	9	11,5	14	15	13

Легко убедиться, что здесь и по формуле (9.8.1) получаем .

В ряду R(x_i) усреднения рангов не было и поэтому T_x = 0. В ряду R(у_i) имеется k = 4 группы усредненных рангов со средними значениями 2; 6,5; 9 и 11,5. Число т_l в двух группах оказалось равным 2 и в двух группах - 3. Поэтому по формуле (7.8.5) получим . Воспользовавшись формулой (9.8.4), найдем более точно:

.

С точностью до тысячных результат оказался таким же. Рассмотренный пример может дать некоторое представление о том, какие усреднения рангов могут не играть роли для оценки коэффициента корреляции Спирмена.

9.9. Тетрахорический показатель связи. Для вычисления обычного парного коэффициента корреляции необходимо, чтобы оба признака были измерены на количественных шкалах. Коэффициент корреляции Спирмена можно вычислить, если один или оба признака измерены на порядковой шкале. Но связь может существовать и между признаками качественными и даже альтернативными. В этом последнем случае она проявляется в отсутствии независимости их взаимного появления. Такая связь тоже может быть измерена.

Поскольку альтернативные признаки могут иметь лишь две градации, то корреляционная решетка, отражающая связь между такими двумя признаками, оказывается представленной четырехклеточной таблицей. Если столбцы такой таблицы соответствуют, например, признаку А с двумя градациями А и , из которых первая обозначает наличие этого признака, а вторая - отсутствие, а строки принадлежат признаку В с аналогичными градациями В и , то весь возможный набор сочетаний признаков оказывается ограниченным четырьмя вариантами: АВ, , и , а частоты этих событий f разместятся на пересечении соответствующих столбцов и строк, имея соответствующие индексы (табл. 9.9.1):

Таблица 9.9.1

Схема четырехклеточной корреляционной решетки.

		A
		A
B	B

Сумма частот по столбцам дает общее число случаев с наличием признака А, или с его отсутствием. Общее число случаев с наличием или отсутствием второго признака дают частоты и . Сумма всех частот четырехклеточной таблицы дает общий объем корреляционной решетки п. Если допустить, что единичные результаты измерения есть единица при наличии того или иного признака и нуль при его отсутствии, то оценками средних значений для признаков А и В будут доли и , а формула вычисления коэффициента корреляции по редуцированной до четырех клеток корреляционной решетке примет вид (формула Бравэ):

. (9.9.1)

Вычисленный по этой формуле коэффициент Бравэ нередко именуется тетрахорическим показателем связи. Как и обычный коэффициент корреляции, может принимать значения в интервале от -1 до +1. В первом случае это соответствует наличию признака А, когда (и только когда) отсутствует признак В и наоборот. Если наличие признака А неизбежно влечет за собой наличие признака В и наоборот, то . Во всех остальных случаях .

Если вспомнить, что вероятность (см. § 2.3) совместного осуществления независимых событий А и В равна произведению вероятностей этих событий, то соответствующие этому условию теоретические частоты в клетках четырехпольной таблицы могут быть найдены путем деления произведения итоговых частот в соответствующих строке и столбце на общий объем корреляционной таблицы. Например, эмпирической частоте f_AB будет соответствовать теоретическая частота, соответствующая условию независимости признаков А и В, , частоте - теоретическая частота и т.д. В случае, если эмпирические частоты в точности равны теоретическим, что соответствует независимости признаков А и В, тетрахорический показатель связи оказывается равным нулю, в чем легко убедиться, подставив в формулу (9.9.1) вместо эмпирических частот их теоретические значения.

Будучи вычисленным на основании выборочных данных, оказывается оценкой некоторого генерального показателя ρ_B. Поскольку отличие ρ_B от нуля означает отсутствие независимости признаков А и В, то критерием проверки гипотезы Н_о: ρ_B = 0 можно взять критерий согласия, основанный на статистике χ²: если

(9.9.2)

для ν = 1, признаки А и В считаются зависимыми, а .

В числителе левой части неравенства (9.9.2) член n/2 представляет собой так называемую поправку на непрерывность. Если объем выборочной совокупности насчитывает по меньшей мере несколько сотен наблюдений, эту поправку можно не вносить, и тогда:

. (9.9.3)

Оценку значимости ρ_B с помощью χ² допустимо проводить при условии, что все теоретические частоты в клетках таблицы должны быть не менее 5.

Таблица 9.9.2.