вызвано ли наблюдаемое высокоер-значение отсутствием эффекта или это результат наличия разнонаправленных откликов?

5.9.Оценка статистической мощности при сравнении долей

Вэтом разделе мы продолжим тему оценки мощности статистических критериев, начатую в разделе 5.3, и покажем, как при помощи R можно выполнить анализ мощности при сравнении долей. Представим, что мы входим в команду кандидата в президенты страны X. Согласно результатам опросов, выполненных командой кандидата-соперника, выяснилось, что популярность нашего кандидата у городских жителей выше, чем у

помочь в планировании агитационных мероприятий: например, следует ли направить больше ресурсов на агитацию среди сельских жителей. Однако насколько стоит доверять информации из лагеря соперника?

Перед нами поставлена задача спланировать независимое исследование для выяснения лояльности городских и сельских жителей в отношении нашего кандидата. Имеющиеся на проведение исследования ресурсы (деньги и проч.) ограничены, и поэтому

показано в разделе 4.7, две доли мы можем сравнить при помощи критерия "хи-квадрат":

167

votes <- matrix(c(28, 72, 20, 80), ncol = 2, byrow = T) votes

Выполненный тест хи-квадрат позволяет заключить, что жители города и села статистически не различаются по своим предпочтениям в отношении нашего кандидата

(p-value = 0.2465).

Казалось бы, это хорошие новости, т.к. нашей команде, по-видимому, нет необходимости предпринимать дополнительные усилия для обеспечения более высокой лояльности среди сельских жителей. Но что, если этот вывод неверен просто в силу недостаточно большого числа опрошенных? Иными словами, мощность критерия недостаточно велика и мы совершили ошибку второго рода– не отклонили неверную нулевую гипотезу об отсутствии разницы между опрошенными категориями жителей?

Хотя в базовой комплектацииR имеется специальная функция для оценки мощности при сравнении двух долейpower.prop.test(), мы воспользуемся возможностями специализированного пакетаpwr (его можно установить при помощи команды install.packages("pwr")). Реализованные в этом пакете функции следуют формулам из известной книги Коэна(Cohen, 1988). Для анализа мощности критерия хиквадрат служит функция pwr.chisq.test(), имеющая следующие аргументы:

°w – размер эффекта

°N – общее число наблюдений

°df – число степеней свободы

°sig.level – уровень значимости

°power – мощность критерия

Следует пояснить, что под размером эффектаw для χ2 подразумевается величина, рассчитываемая по формуле w = ∑(p0i − p1i)2 / p0i, где p0i – ожидаемая вероятность для i-й ячейки таблицы сопряженности при верной нулевой гипотезе об отсутствии эффекта, а p1i

– наблюдаемая вероятность. Иными словами, w измеряет степень отклонения наблюдаемых частот в таблице сопряженности от тех, которые можно было бы ожидать при отсутствии эффекта исследуемого фактора.

Рассчитаем мощность приведенного выше теста χ2. Для удобства, сначала сохраним результаты теста в виде самостоятельного объекта (назовем его res):

res <- chisq.test(votes) res

Pearson's Chi-squared test with Yates' continuity correction

таблицы и рассчитать соответствующие вероятности:

168

obs <- res$observed

exptd <- res$expected

obs <- obs/200 # здесь и ниже, 200 - общее число опрошенных

[,1] [,2] [1,] 0.14 0.36 [2,] 0.10 0.40 exptd <- exp/200

[,1] [,2] [1,] 0.12 0.38 [2,] 0.12 0.38

Используя приведенную выше формулу, рассчитаем размер эффекта:

sqrt(sum((exptd-obs)^2/exptd)) [1] 0.09365858

Приведенные вычисления размера эффекта можно было значительно сократить, воспользовавшись готовой функцией из пакетаpwr – ES.w2(), на вход которой в виде матрицы подается таблица сопряженности с наблюдаемыми вероятностями:

library(pwr) ES.w2(obs) [1] 0.09365858

Много это или мало – 0.094? Показатель w изменяется от 0 до 1, и чем ближе его значение к 1, тем сильнее эффект исследуемого фактора. В рассматриваемом случае размер эффекта весьма невысок – место проживания респондентов очень слабо связано с их лояльностью в отношении нашего кандидата. При таком размере эффекта и при общем числе опрошенных респондентов, равном 200, мощность выполненного выше тестаχ2 составляет

pwr.chisq.test(w = ES.w2(obs), df = 1, N = 200)

размере эффекта.

Приведенная выше величина мощности критерия χ2 (26%) называется достигнутой, или наблюдаемой мощностью (англ. observed power). Следует подчеркнуть, что результат

169

такого ретроспективного расчета мощности статистического (теста. . расчета,

утверждения вроде следующего: "Поскольку нулевая гипотеза не была отвергнута и наблюдаемая мощность теста высока, имеющиеся данные свидетельствуют в пользу нулевой гипотезы". Дело здесь в том, что между мощностью теста и уровнем значимости α по определению имеется тесная функциональная связь: чем выше α, тем ниже мощность. Соответственно, рассчитанные в ходе теста высокиер-значения всегда сопровождаются низкой мощностью, что делает сам ретроспективный расчет мощности бессмысленным– подробности см. в статье (Hoenig, Heisey, 2001).

Оценка мощности статистического теста должна выполняться на стадии планирования исследования. Выполним такую оценку для нашего независимого опроса общественного мнения. Поскольку имеющиеся у нас ресурсы ограничены, решено, что результаты этого исследования будут приняты во внимание при разработке агитационных мероприятий только в том случае, если выявленный размер эффекта окажется достаточно большим, и если мощность критерияχ2 составит не менее80% при уровне значимости 0.05. Однако, что значит "достаточно большой" эффект? Согласно классификации, предложенной Коэном, w = 0.10 следует считать небольшим эффектом, w = 0.3 – умеренно

большим, а w = 0.5 и выше – большим эффектом. Примем, что порог w = 0.15 является достаточно значительным эффектом, чтобы обратить на него внимание в нашей ситуации (должность президента на кону, как-никак!). Тогда минимальное число подлежащих опросу респондентов составит:

pwr.chisq.test(w = 0.15, N = NULL, df = 1, sig.level = 0.05, power = 0.8)

Chi squared power calculation w = 0.15

N = 348.8382 df = 1

sig.level = 0.05 power = 0.8

NOTE: N is the number of observations

Обратите внимание на аргументN – ему было присвоено значениеNULL, поскольку рассчитывается именно число наблюдений.

Таким образом, всего необходимо будет опросить около350 случайным образом выбранных респондентов (примерно половина из них будет из числа городских жителей, а другая половина – из числа сельских).

В завершение, следует упомянуть еще три функции из пакетаpwr, созданные для анализа статистической мощности при работе с долями:

°pwr.2p.test()– анализ мощности для двух долей, рассчитанных по выборкам одинакового размера;

°pwr.2p2n.test()– анализ мощности для двух долей, рассчитанных по выборкам разного размера;

°pwr.p.test()– анализ мощности для одной доли(например, при сравнении ее с

каким-либо ожидаемым значением).

Мощность теста можно оценить также путем многократных . имитаций Приведенная ниже функция рассчитывает мощность по четырем параметрам– объему выборки в первой группе, объемы выборки во второй группе, ожидаемой частоте в первой группе и ожидаемой частоте во второй группе. Генерируется 10000 таблиц размером 2´2 и на их основе рассчитывается вероятность отвергнуть нулевую гипотезу.

170

prop.power=function(n1,n2,p1,p2) { twobytwo=matrix(NA,nrow=10000, ncol=4) twobytwo[,1]=rbinom(n=10000, size=n1, prob=p1) twobytwo[,2]=n1-twobytwo[,1] twobytwo[,3]=rbinom(n=10000, size=n2, prob=p2) twobytwo[,4]=n1-twobytwo[,3]

p=rep(NA, 10000) chisq.test.v = function(x)

as.numeric(chisq.test(matrix(x, ncol=2), correct=FALSE)[3]) p=apply(twobytwo, 1, chisq.test.v) power=sum(ifelse(p<0.05,1,0))/10000

return(power)

}

Эта функция дает результат, сходный с приведенной выше ретроспективной оценкой мощности:

prop.power(100,100,0.28, 0.20) [1] 0.2649

171

6. ЛИНЕЙНЫЕ МОДЕЛИ В ДИСПЕРСИОННОМ АНАЛИЗЕ

6.1. Протокол разведочного анализа данных

За последние несколько десятилетий арсенал прикладной статистики значительно пополнился за счет развития новых методов, таких, например, как обобщенные линейные модели (Generalized Linear Models), обобщенные аддитивные модели (Generalized Additive Models), модели со смешанными эффектами (Mixed-Effects Models), деревья принятия решений (Regression and Classification Trees), анализ выживаемости (Survival Analysis),

многомерное шкалирование (Multidimensional Scaling) и др. Более того, появление быстрых современных компьютеров и свободного программного обеспечения(вроде R) сделало все эти методы, требующие значительных вычислительных ресурсов, доступными практически для каждого исследователя. Однако такая доступность еще больше обостряет хорошо известную проблему всех статистических методов, которую на английском языке часто описывают как"garbage in, garbage out", т.е. "мусор на входе – мусор на выходе". Речь здесь идет о следующем: чудес не бывает, и если мы не будем уделять должного внимания тому, как тот или иной метод работает и какие требования предъявляет к анализируемым данным, то получаемые с его помощью результаты нельзя будет воспринимать всерьез. Поэтому каждый раз исследователю следует начинать свою работу с тщательного ознакомления со свойствами полученных данных и проверки необходимых условий применимости соответствующих статистических методов. Этот начальный этап называют разведочным анализом (Exploratory Data Analysis).

В литературе по статистике можно найти немало рекомендаций по выполнению разведочного анализа данных(РДА). В концентрированной форме эти рекомендации сведены в единый протокол в отличной публикации(Zuur et al., 2010). Несмотря на то, что статья написана для биологов( частности, для экологов), изложенные в ней принципы, вероятно, верны и в отношении других научных дисциплин. Прежде чем

перейти к детальному описанию методик построения и интерпретации конкретных

позволяют иногда лучше понять структуру и свойства анализируемых данных, чем формальные статистические тесты.

172

должно быть основано на очень серьезных изначальных предположениях. Наличие выбросов часто может означать, что исходное распределение, например, не является

случаев какого-либо заболевания в разных городах), наличие выбросов может вызвать избыточную дисперсию, что может сделать модель неприменимой. В то же время, при использовании неметрического многомерного шкалирования, основанного на индексе Жаккара, все исходные данные переводятся в номинальную шкалу с двумя значениями (1/0), и наличие выбросов никак не сказывается на результатах анализа. Исследователь должен четко понимать эти различия, обусловленные разными методами.

Проверка однородности групповых дисперсий

Спроблемой выбросов тесно связан второй пункт протокола разведочного анализа

–проверка условия однородности дисперсии(англ. вариант термина "homogeneity of variance"). Однородность групповых дисперсий постулируется как важное условие применимости дисперсионного анализа(ANOVA) и других линейных моделей регрессионного типа, а также ряда методов многомерной статистики(например, дискриминантного анализа).

На рисунке ниже приведены категоризованные диаграммы размахов для значений интенсивности потребления пищи канадским веретенником– птицы из семейства бекасовых (Zuur et al., 2010).

173

Если бы стояла задача применить параметрический дисперсионный анализ для установления эффектов пола и периода наблюдений на интенсивность потребления пищи веретенником (а также взаимодействия между этими двумя факторами), то должны были бы выполняться следующие условия:

°дисперсии не различаются у самцов и самок;

°дисперсии не различаются между периодами наблюдений;

°дисперсии не различаются между периодами наблюдения у каждого из полов.

Как можно увидеть из графика, дисперсия интенсивности потребления пищи у самцов низка зимой и несколько повышается в летний период, но в целом в приведенном примере различия групповых дисперсий невелики и не потребуют особых действий со стороны аналитика. Это можно подтвердить не только субъективными визуальными

2004). В то же время для успешного применения дискриминантного анализа (Discriminant Analysis) нормальность распределения признаков в каждой группе классифицируемых

174

оценивает численность популяции того или иного вида. Особи одной популяции редко распределены в пространстве равномерно– чаще они образуют скопления в силу, например, неоднородности распределения необходимых им факторов среды или для повышения выживаемости. Обследуя территорию, на которой обитает популяция с таким типом пространственного распределения, исследователь в большинстве случаев не встретит ни одной особи изучаемого вида, реже ему попадутся единичные экземпляры, и лишь иногда – большие скопления особей.

Для анализа характера распределения данных такого рода(англ. count data – "счетные данные") бывает достаточно построить гистограмму или полигон частот. Часто счетные данные подчиняются отрицательному биномиальному распределению или

175

приведенном ниже коде предполагается, что таблица данных с заполненными пропусками sleep_imp.Rdata была сохранена ранее нами для дальнейшего использования):

load(file="sleep_imp.Rdata") M <- cor(sleep_imp3) library(corrplot)

col4 <- colorRampPalette(c("#7F0000","red","#FF7F00","yellow", "#7FFF7F", "cyan", "#007FFF", "blue","#00007F"))

corrplot(M, method="color", col=col4(20), cl.length=21, order = "AOE", addCoef.col="green")

Нетрудно выделить на рисунке два блока предикторов: таксономические (BodyWgt + BrainWgt) и экологические (Pred + Danger) показатели, которые высоко коррелируют между собой.

Другим способом оценить степень мультиколлинеарностиm-мерного комплекса переменных является вычисление фактора инфляции дисперсии (Variance Inflation Factor, VIF), который для каждого j-го предиктора из m тем выше, чем теснее его линейная связь со всеми остальными(m - 1) независимыми переменными. Значения VIF находятся следующим образом:

°строится регрессионная модель зависимости переменнойXj от всех остальных

VIF(βj) = 1/(1 – Rj2) ;

° эти действия выполняются последовательно для всех переменных j = 1, 2, …, m. Значение фактора инфляции дисперсии, равное 1, говорит об ортогональности

вектора реализаций признака по отношению ко всем остальным. Принято считать, что значения VIFj от 1 до 2 (что соответствует Rj2 от 0 до 0.5) означают отсутствие проблемы

176

мультиколлинеарности для Xj, т.е. добавление в модель или удаление из нее любых других независимых переменных не изменяет ни самой оценки коэффициента βj, ни критериев его статистической значимости. Если VIFj = 4, то это означает, что ошибка выборочной оценки параметра βj в (4)0.5 = 2 раза превышает эту оценку, но полученную при полном отсутствии мультиколлинеарности.

Функции для автоматического расчетаVIF и выполнения перечиселенных выше шагов реализованы в нескольких пакетах для R. Одним из примеров таких функций является vif() из пакета car:

следует считать пороговым (обычно VIF = 5, хотя реже предлагается и VIF = 10).

Выявление характера связи между переменными

Существующие в природе количественные соотношения между переменными

тонкой настройки графика.

В качестве примера рассмотрим первые семь количественных параметров, описывающих разные модели автомобилей, из таблицы mtcars (эти данные уже были использованы нами в разделе 3.5). Для облегчения интерпретации характера связи между анализируемыми переменными мы можем добавить сглаживающую кривую к каждой диаграмме рассеяния (аргумент panel со значением panel.smooth):

cars <- mtcars[, 1:7]

177

pairs(cars, panel = panel.smooth)

Аргументы lower.panel и upper.panel позволяют назначить практически любую функцию для преобразования исходных данных и последующего отображения результатов работы этой функции на графике(ниже или выше центральной диагонали матрицы соответственно). Например, вот так мы можем добавить к графику значения коэффициентов корреляции Спирмена, определив собственную функцию заполнения панели:

# Функция для оформления панелей с коэффициентом корреляции panel.cor <- function(x, y, digits = 2,

prefix = "", cex.cor, ...)

{

usr <- par("usr"); on.exit(par(usr)) par(usr = c(0, 1, 0, 1))

r <- abs(cor(x, y, method = "spearman"))

txt <- format(c(r, 0.123456789), digits=digits)[1] txt <- paste(prefix, txt, sep = "")

#эта команда позволяет изменять размер шрифта

#в соответствии со значением коэффициента корреляции: if(missing(cex.cor)) cex.cor <- 0.8/strwidth(txt) text(0.5, 0.5, txt, cex = cex.cor * r)

}

# Строим сам график:

pairs(cars, , panel = panel.smooth, lower.panel = panel.cor)

178

Построение матричных диаграмм рассеяния возможно также с использованием функции splom() из графического пакета lattice:

library(lattice) splom(cars)

Функция ggpairs() из пакетаGGally, служащего дополнением к одному из лучших графических пакетов дляR – ggplot2, позволяет строить как простые матричные диаграммы рассеяния, так и гораздо более сложные графики, включающие, например, двухмерные диаграммы ядерной плотности:

ggpairs(cars,

upper = list(continuous = "density", combo = "box"), lower = list(continuous = "points", combo = "dot"))

18qsec

16 18 20 22

Для количественной оценки справедливости линейной спецификации модели можно использовать значения эффективных степеней свободы (EDF – effective degrees of freedom) нелинейных сглаживающих функций для каждой из независимых переменных. Значения EDF легко получить с использованием обобщенной аддитивной моделиGAM и функции gam() пакета mgcv (Wood, 2006), которые подробно рассматриваются далее в главе 8. Например, для зависимостей между параметрами моделей автомобилей:

library(mgcv)

summary(gam(mpg ~ s(hp) + s(qsec), data=cars)) Approximate significance of smooth terms:

179

Значения оценок EDF, превышающие 1.5, свидетельствуют о существенной степени нелинейности связи между переменными. По результатам проведенного расчета можно предположить, что расход топлива (mpg) линейно связан со скоростью на ¼ мили (qsec)

и нелинейно с объемом цилиндров (disp):

всех приведенных диаграммах окажутся параллельными, то можно сделать вывод об отсутствии влияния пола воробьев и времени года на связь между длиной крыла и весом птиц.

#Вывод категориальной диаграммы

coplot(Wei1 ~ Wing1 | fMonth1 * fSex1, ylab = "Weight (g)", xlab = "Wing length (mm)",

panel = function(x, y, ...) {

tmp <- lm(y ~ x, na.action = na.omit) abline(tmp)

points(x, y) })

180

управляющие параметры функции stargazer() позволяют получить в желаемом виде необходимые результаты расчетов:

#Удаляем данные за май и сентябрь

df <-data.frame(weight=Wei1, length=Wing1, sex = fSex1, month = fMonth1) df1 <- df[df$month != "May" & df$month != "Sep", ]

#Строим линейную модель и получаем дисперсионную таблицу

M1 <- lm(weight ~ length*month*sex, data=df1) DT <- anova(M1)

#Выводим результаты расчетов в таблицы файлов Word require(stargazer) stargazer(M1,type="html",out="M1.doc") stargazer(DT,type="html",out="DT.doc", summary=FALSE)

Как следует из полученной таблицы, статистически значимым являются как влияние всех трех независимых предиктора, так и эффекты трех парных и тройного взаимодействия:

181

Analysis of Variance Table

Влияние пространственно-временных факторов на анализируемую переменную

независимость повторностей эксперимента от контролируемых внешних факторов:

1.Рандомизация, т.е. планирование экспериментальных групп таким образом, чтобы они отличались между собой(в среднем!) лишь уровнем изучаемого воздействия, а прочие факторы влияли бы на сформированные группы случайно и равновероятно;

2.Использование моделей со смешанными эффектами, о которых мы расскажем в главе 8; в них присутствуют особые члены – случайные факторы, которые аккумулируют

всебе всю возможную пространственно-временную изменчивость(Pinheiro, Bates, 2000; Zuur et al., 2009);

3.Анализ временной и пространственнойавтокорреляции отклика и построение кригинговых моделей, в которых регулярная составляющая изменчивости рядов данных учитывается посредством специально сконструированных предикторов.

«Наличие синусоидальных волн различных порядков, начиная с длинных, обнимающих

182

коэффициента корреляции Пирсона между значениями того же временного , рядано каждый раз взятых со сдвигом по времени на определенную величинуk (лаг). В среде R для расчета АКФ служит функция acf():

# Загрузка данных и определение оси времени

Waders <- read.table(file = "wader.txt", header = TRUE) Time <- seq(1,25)

# Построение четырех графиков в одном окне par(mfrow = c(2, 2), mar = c(5, 4, 3, 2)) plot(Time, Waders$C.fuscicolis, type = "l", xlab =

"Время (2 недели)", ylab = "C. fuscicollis abundance") acf(Waders$C.fuscicolis, main = "C. fuscicollis ACF") plot(Time, Waders$L.dominicanus, type = "l", xlab =

"Время (2 недели)", ylab = "L. dominicanus abundance") acf(Waders$L.dominicanus, main = "L. dominicanus ACF")

Результатом работы этой функции является построение графиков, приведенных на рисунке вверху справа, где хорошо видна тесная временная взаимосвязь между значениями численности C. fuscicollis на протяжении первых четырех недель(т.е. до k =

183