Назаметдинов Анализ данных 2012

Если подставить в (2.6) выражения для остатков (2.5), можно придти к выражению:

мента rkl в определителе корреляционной матрицы анализи-руемых переменных. Напомним, что Rkl ( 1)k l Akl , где Akl – определи-

тель матрицы, полученной вычеркиванием k-й строки и l-го столбца исходной матрицы.

ЧКК вообще-то зависит от значений «мешающих» переменных Х(ij). Если же случайные переменные (х1,х2, …,хn) подчиняются многомерному нормальному закону, то такая зависимость отсутствует.

Что касается статистических свойств выборочного ЧКК, то они аналогичны свойствам парного КК. Проверка осуществляется так же, как и для парного КК с единственной поправкой: объем выборки уменьшают на число «мешающих» переменных.

Рассмотрим пример. По выборке из 27 малых предприятий построена корреляционная матрица

по переменным: х1 – годовой доход, х2 – численность персонала, х3

– стоимость основных средств. Коэффициенты rˆ12 0,20, rˆ13 0,10 оказались незначимыми: согласно (2.4) t p (rˆ12 ) 1,02 , t p (rˆ13 ) 0,5 , что меньше tТ [0,05; 25]=2,060.

31

tТ [0,05; 24] = 2,064. Поскольку tp>tТ, ЧКК значим.

2.1.3. Множественный коэффициент корреляции

Коэффициент множественной корреляции предназначен для измерения тесноты связи между случайной переменной у и некой совокупностью переменных х1,х2,…хn, причем последние представляются в виде линейной свертки (плоскости):

КК (точнее его квадрат R2) вводится как мера качества модели в регрессионном анализе (см.п. 3.7).

2.2.Оценка связи качественных переменных

2.2.1.Оценка связи порядковых переменных

Рассмотрим вначале оценку связи между парой порядковых переменных (признаков) х и у. Как правило, это результаты измерений, получаемых экспертным путем, так что хi – ранг (порядковое место), приписываемый i-му объекту (i=1,2,…,N) первым экспертом, а уi – ранг, приписываемый этому же объекту вторым экспертом. Подобные ряды часто называют ранжировками. Если признаки х и у взаимосвязаны, то порядок, в котором следуют числа x1,x2,…,xN, будет влиять и на последовательность y1,y2,…,yN.

32

В условиях гипотезы Н0 (случайное независимое ранжирование) любая из N! перестановок равновероятна, поэтому можно рассчитать закон распределения вероятностей rS и rK. В табл. 2.1 приводятся критические значения коэффициентов rS и rK для уровней значимости 0,05 при числе сравниваемых объектов N в диапазоне

Для проверки значимости коэффициента ранговой корреляции при N >10 можно воспользоваться тем фактом, что случайные величины

распределены (приближенно) по нормальному закону с нулевым математическим ожиданием и единичной дисперсией. Обозначим

u Sp , u Kp значения uS и uK для конкретного, выборочного, значения rˆS и rˆK . Если окажется, что u Sp либо u Kp превышает табличное

значение uT стандартного нормального закона при выбранном уровне значимости q (для q=0,05 uт=1,96), гипотеза Н0 отвергается.

Приведенные выше формулы для rS и rK получены в предположении, что соответствующая система с отношениями не содержит классов эквивалентности, так что каждому объекту удалось присвоить определенный, отличный от других, ранг. Наличие клас-

34

сов эквивалентности означает, что всем объектам данного класса должен быть присвоен один и тот же ранг, равный среднему значению мест, которые объекты поделили. Такие ранги называют связанными. Пусть, например, шесть объектов упорядочены как представлено в табл.2.2.

Таблица 2.2

Из таблицы видно, что объекты 1 и 2 образуют один класс эквивалентности, а объекты 4, 5 и 6 – другой. Ранги, которые должны быть приписаны в итоге, указаны в табл.2.3.

Таблица 2.3

k и l – число случаев появления связанных рангов; ti и ui – число

совпадающих рангов в каждом из упорядочений. Так, для данных табл. 2.3 Т =[2(22–1)+3(32–1)]/12.

35

k,l,ti,ui тот же, что и в rˆпрS .

Рассмотрим теперь меру согласия m (m>2) ранжировок. Пусть xij – ранг, приписанный i-му (i=1,2,…,N) объекту в j-м ранжирова-

нии (j=1,2,…,m). Для оценки степени связи между несколькими ранжировками используют коэффициент конкордации

– сумма квадратов отклонений суммы рангов, приписанных тому или иному объекту, от общего среднего; Smax – максимальное значение S, получаемое в случае, когда все ранжировки совпадают.

В многомерном ранжировании возможно полное совпадение мнений у разных экспертов, однако теряется понятие «противоположного» мнения. Поэтому меру согласия вводят так, чтобы она равнялась 1 при полном совпадении ранжировок и 0 − при случайном ранжировании. Введенная мера этому условию удовлетворяет.

m

Действительно, при случайном ранжировании xij для разных i

j 1

будут близки между собой и не столь существенно отличаться от

36

При наличии связанных рангов в формуле для ˆ знаменатель

W

m

уменьшается на величину m Tj , где Tj имеет тот же смысл, что и

j 1

Т в (2.8).

По имеющимся m ранжировкам можно подсчитать m(m-1)/2 коэффициентов rˆijS (i, j 1,2,...,m; i j) . Оказывается, среднее значе-

Для оценки значимости коэффициента конкордации можно воспользоваться χ2-распределением с ЧСС=N-1, которому приближенно удовлетворяет величина m ( N - 1) W при условии, что число

проверка значимости производится с помощью табл.2.4 [1]. В ней

при уровне значимости 0,05 даны предельные значения SТ. Если вычисленное значение S (см.(2.9)) превышает SТ, т.е. S>SТ, гипо-

37

2.2.2. Оценка связи номинальных переменных

Предположим, что исследуемые объекты описываются двумя признаками А и В, причем А имеет k градаций (уровней), которые мы будем обозначать А1,А2,…,Аk , а В – l уровней В1,В2,…,Вl.

Пусть в нашем распоряжении имеется выборка из N объектов. Обозначим через nij число (частоту) объектов, у которых признак А находится на уровне Аi, а признак В – на уровне Вj. Очевидно,

l

что число появлений уровня Аi во всей выборке равно nij . Усло-

j 1

вимся в дальнейшем опускать знак суммирования и означать сумму точкой на месте индекса, по которому ведется суммирование, т.е.

Выборочные частоты сводятся в таблицу, которую принято называть таблицей сопряженности признаков либо просто таблицей сопряженности (табл.2.5). Введем аналогичные обозначения для

Условие независимости признаков в принятых обозначениях имеет вид

38

Проверить последнее соотношение не представляется возможным, поскольку значения вероятностей не известны. Однако по таблице сопряженности можно получить выборочные значения вероятностей, тем более точные, чем больше N.

По теореме Бернулли при N→∞ :

Выражение, стоящее в правой части (2.11), принято называть ожидаемыми частотами, тогда как nij – наблюдаемыми. В качестве меры расхождения между ожидаемыми и наблюдаемыми частотами используется статистика

Согласно теореме Пирсона−Фишера для независимых признаков при неограниченном росте числа наблюдений распределение

случайной величины Х 2 стремится к распределению 2 с числом степеней свободы, равным kl-(k-1)-(l-1)-1=(k-1)(l-1). На практике считается достаточным выполнение соотношения (n i . n . j / N ) ≥ 3 для всех i , j . Для зависимых признаков Х 2 неограниченно возрастает при увеличении N. Таким образом, для проверки гипотезы о

независимости двух признаков вычисляется статистика Х 2 и сравнивается с табличным значением T2 при выбранном уровне зна-

чимости и числе степеней свободы ЧСС=(k-1)(l-1). При Х 2 > Т2

гипотеза о независимости отвергается.

Если признаки зависимы, то интерес представляет численная мера связи. Достаточно просто они вводятся для дихотомических переменных. Рассмотрим таблицу сопряженности 2 2 (табл.2.6):

39

(Черта на букве соответствует противоположному значению). Пусть, например, исследуется связь между уровнем образования

(О – высшее, О – отсутствие высшего образования), и уровнем дохода (Д – высокий уровень, Д – низкий уровень). Имеются две

выборки по сто человек (N=100) с таблицами сопряженности 2.7 и

2.8.

Вобеих таблицах доля лиц с высшим образованием составляет 30%, доля высокооплачиваемых – 40%. В первой таблице доля лиц

свысшим образованием среди высокооплачиваемых составляет 55% (22/40), что больше их доли по выборке в целом (30%). Во второй таблице лишь 5% (2/40) лиц с высшим образованием получают достойный доход.

Вобщем случае говорят о положительной связи, если

Из (2.12) с учетом того, что N=a+b+c+d, получаем ad>bc. Ме-

ра adbc при >1 говорит о положительной связи между призна-

ками, при <1 – об отрицательной.

40