8.5.Ковариационный анализ

Вотличие от дисперсионного и регрессионного анализов, рассмотренных в главах 5-7, ковариационный анализ (ANCOVA) оперирует с набором предикторов, включающим как качественные группообразующие переменные, так и количественные переменные, измеренные в непрерывных шкалах и называемыековариатами. Если исследуется

характер взаимосвязи между реализациями зависимой величиныY = {y1, …, yn} и определенной совокупностью предикторов, то строится ковариационная модель, которая является как бы синтезом регрессионного и дисперсионного анализов:

yi = åkj =1 fijqj + åmj =1b j xi( j ) + eij ,

где k – возможные типы условий (в данном случае, однофакторного) эксперимента, F = {f1,… , fk}; m – число независимых ковариат, X = {x(1), …, x(m)}. Как обычно для общей

линейной модели, индикаторные переменные fij равны 1, если j-е условие эксперимента имеет место при наблюденииyi, и 0 в противном случае. Коэффициенты qi определяют эффект влияния j-го условия, а bj – значения соответствующих коэффициентов регрессии Y по x(j), eij – независимые случайные ошибки с нулевым математическим ожиданием. При включении в модель второго, третьего и последующих факторов в правой части уравнения

оценок q1,… , qk и b1,… , bp, а также статистических критериев для проверки различных гипотез относительно значений этих параметров. Основные теоретические и прикладные процедуры ковариационного анализа относятся к линейным моделям, но имеются некоторые особенности касательно интерпретации результатов.

Поскольку в приведённой формуле модели коэффициенты регрессии зависимой переменной Y на сопутствующую переменную x не зависят от качественных факторов, то

принимающий значения "Да/Нет", и оценим характер распределения данных:

332

data(hellung, package = "ISwR") head(hellung)

hellung$glucose <- factor(hellung$glucose,

labels = c("Да", "Нет"))

attach(hellung)

tethym.gluc <- hellung[glucose == "Да", ] tethym.nogluc <- hellung[glucose == "Нет", ]

Для визуализации воспользуемся комплексной функциейscatterplot() из пакета car, которая покажет нам характер линейной зависимостиdiameter ~ conc, кривую аппроксимации локальной регрессией с доверительными интервалами и графики boxplot для обоих переменных:

library(car) scatterplot(diameter ~ conc)

points(tethym.gluc$conc,tethym.gluc$diameter, pch = 17)

legend("topright", legend = c("без глюкозы","с глюкозой"), pch = c(1, 17))

333

Поскольку на графике наблюдается выраженная обратная экспоненциальная зависимость, то перед построением линейных моделей будем трансформировать данные путем логарифмирования, что может привести к нормализации распределения переменных и гомоскедастичности дисперсии остатков. Проверим это предположение и выведем графики зависимости величины остатков от прогнозируемого значения отклика до и после преобразования:

plot(aov(diameter ~ conc + glucose, hellung), with=1) plot(aov(log10(diameter) ~ log10(conc) + glucose, hellung),

which = 1)

Для реализации ANCOVA в R используется все та же функцияlm(). Выполним построение линейных моделей зависимости размера клеток от плотности популяции отдельно для каждого способа выращивания инфузорий:

(lm.nogluc <- lm(log10(diameter)~log10(conc),data=tethym.nogluc))

Coefficients: (Intercept) log10(conc)

1.63476 -0.05968

# Найдем доверительные интервалы коэффициентов confint(lm.nogluc)

2.5 % 97.5 % (Intercept) 1.59212391 1.67739837 log10(conc) -0.06837895 -0.05097448

(lm.gluc <- lm(log10(diameter)~ log10(conc), data = tethym.gluc))

Coefficients: (Intercept) log10(conc)

1.6313 -0.0532 confint(lm.gluc)

plot(conc, diameter, pch = p_symb[as.numeric(glucose)], log = "xy")

334

°Различаются ли линии по углам наклона, (т.е. по степени влияния ковариат)?

°Различаются ли группы по среднему размеру клеток?

var.test(lm.gluc, lm.nogluc)

F test to compare two variances data: lm.gluc and lm.nogluc

F = 0.8482, num df = 30, denom df = 17, p-value = 0.6731 alternative hypothesis: true ratio of variances is not equal to 1

95 percent confidence interval:

0.3389901 1.9129940 sample estimates: ratio of variances

0.8481674

Функция lm() дает возможность построить общую линейную модель для любых комбинаций факторов и ковариат. Матрица плана А (design matrix – см. раздел 6.2) в этом

335

случае получается добавлением новых столбцовХ к матрице плана однофакторного анализа F без ковариации. Построим вначале модель AN1 с учетом взаимодействий фактора с ковариатой:

AN1 <- lm(log10(diameter) ~ log10(conc)*glucose) summary(AN1)

Интерпретация модели AN1 может быть выполнена следующим образом:

концентрации C ожидаемое среднее значение логарифма диаметра клетокD будет выражено зависимостью:

log10D = 1.6313 – 0.0532´log10C .

2. Остальные две строки содержат разницу между группами по свободному члену и регрессионному коэффициенту при выращивании культуры без добавления глюкозы, и зависимость будет иметь вид:

log10D = (1.6313+0.0034) – (0.0532+0.0064)´log10C

Поскольку инкремент регрессионного коэффициента для культур без глюкозы статистически незначим, то линии модели можно принять параллельными.

Построим теперь модель AN2 без учета взаимодействия между фактором и ковариатой:

AN2 <- lm(log10(diameter) ~ log10(conc) + glucose) summary(AN2)

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 1.642132 0.011417 143.83 < 2e-16 ***

log10(conc) -0.055393 0.002301 -24.07 < 2e-16 ***

glucoseНет -0.028238 0.002647 -10.67 2.93e-14 ***

В соответствии с summary(AN2), имеем две ситуации:

°культура без глюкозы: log10D = (1.6421-0.0282) – 0.0554´log10C.

336

8.6.Модели со смешанными эффектами для иерархически

организованных данных

т.е. дисперсия случайного фактора на всех его уровнях равна нулю и не вносит дополнительно вклада в изменчивость наблюдаемой случайной величины.

337

Модели III типа со смешанными эффектами(Pinheiro, Bates, 2000; Demidenko, 2004; Wood, 2006) включают как фиксированные, так и случайные факторы. Для простой схемы группировки по уровням линейную модель LMEM (linear mixed-e ects model) со смешанными эффектами удобно представить в матричной форме:

статистическую зависимость богатства видовRichness от высоты NAP и возмущения

Exposure.

RIKZ <- read.table(file = "RIKZ.txt", header = TRUE, dec = ".") head(RIKZ)

338

6 6 8 8 1.190 2

ExposureBeach <- c("a","a","b","b","a","b","b","a","a")

Наивный подход приведет нас к мысли описать искомую зависимость знакомой нам моделью линейной регрессии с гауссовым распределением остатков:

где Rij - богатство видов участка j на пляже i, NAPij и Exposurei – предикторы модели и εij – случайные остатки. Однако эта модель не учитываетэффекта вложенности (nested) данных: на каждом пляже сделано по5 проб и, скорее всего, число видов на участках одного пляжа будет более схожим, чем на участках различных местообитаний. Эту модель целесообразно забраковать.

Вторая мысль (более плодотворная, но, все же, не оптимальная) приведет нас к выполнению так называемого двухэтапного анализ. На первом этапе рассчитаем значения коэффициентов регрессии βi для каждого i-го пляжа по совокупности из 5 проб:

Эта модель соответствует тривиальному однофакторному дисперсионному анализу.

Beta<-vector(length=9) # Первый этап for (i in 1:9){

tmpout<-summary(lm(Richness~NAP,

subset = (Beach==i),data=RIKZ)) Beta[i] <- tmpout$coefficients[2,1]

}

print(Beta,3)

[1] -0.372 -4.175 -1.755 -1.249 -8.900 -1.389 -1.518 -1.893 -2.968

#Второй этап

tmp2 <- lm(Beta ~ factor(ExposureBeach),data=RIKZ) summary(tmp2)

Coefficients:

Кроме огорчившей нас статистической незначимости факт, отражающего абиотические условия, двухэтапный анализ имеет и другие недостатки:

°вариация всех данных для каждого берега сводится к одному параметру;

°на втором шаге мы анализируем параметры регрессии, а не наблюдаемые данные (т.е. не моделируем непосредственно интересующий нас отклик);

°итоговая статистическая величина не зависит от числа наблюдений(их может быть

5, 50, или 50 000).

Наконец, в качестве третей версии можно представить нашу модель как линейную

зависимость богатства видов от высоты NAP, где свободный член изменяется для каждого пляжа Beachi, номер которого выступает в качестве фактора с девятью фиксированными уровнями: Rij = (α + β1 × Beachi ) + β2 × NAPij + εij.

Однако мы вовсе не интересуемся знанием точной природы "эффекта пляжа", хотя платить за включение этого члена в модель приходится восемью степенями свободы(слишком высока цена!).

339

Здесь Ri является оценкой богатства видов на пляжеi, i = 1, ..., 9. Предикторы модели включают фиксированный компонентXi×β и случайный компонентZi×bi. Даже для этого небольшого примера есть несколько вариантов наполнения матрицXi и Zi, которые мы обсудим ниже. Пока нам только важно, что эти матрицы имеют размерности ni×p и ni×q соответственно, где ni - число наблюдений Ri, p - число предикторов в Xi, и q - число объясняющих переменных в Zi.

Переходя к обсуждению модели LMEM, рассмотрим последовательно три примера: а) Модель со случайным свободным членом зависимости между Ri и NAPi;

б) Модель со случайными свободным членом и коэффициентом угла наклона; в) Различные модели со смешанными эффектами, включающими все предикторы.

Модель со случайным свободным членомиспользует местоположение пляжа

Beachi как случайный фактор, однако предполагает, что весь эффект его влияния

,

т.е. матрица случайных эффектовZi в выражении(1) представляет собой единичный вектор.

Для расчета воспользуемся функцией lme() из пакета nlme, которая, в отличие от функции lm(), позволяет задать случайные эффекты. В частности, параметр ~1|fBeach определяет случайный свободный член модели (справа от знака ‘|’ задается предикторная переменная):

library(nlme)

RIKZ$fBeach <- factor(RIKZ$Beach)

Mlme1 <- lme(Richness ~ NAP, random = ~1 | fBeach,data=RIKZ) summary(Mlme1)

Linear mixed-effects model fit by REML Data: RIKZ

AIC BIC logLik 247.4802 254.525 -119.7401

Random effects: Formula: ~1 | fBeach

(Intercept) Residual StdDev: 2.944065 3.05977

effects, определяет зависимость числа видов от высоты пляжа как6.58 – 2.56×NAPi ,

340

Модель со случайными свободным членом и коэффициентом угла наклона также использует местоположение пляжаBeachi как случайный фактор, однако выдвигает дополнительное предположение о том, что характер зависимостей между числом видовRi и высотой NAPi различен для каждого пляжа. Иными словами, для каждого значения фактора Beachi должен корректироваться не только свободный член зависимости между Ri и NAPi, но и коэффициент угла наклона. Модель имеет следующий вид:

341

т.е. в матрицу Zi, определяющую конфигурацию случайных эффектов, дополнительно включается набор значений NAPi. Это выражается в изменении вида аргумента ~1 + NAP | fBeach для параметра random функции lme():

Mlme2 <- lme(Richness ~ NAP, method = "REML",

random = ~1 + NAP | fBeach, data = RIKZ) summary(Mlme2)

Random effects: Formula: ~1 + NAP | fBeach

Structure: General positive-definite, Log-Cholesky parametrization

(Intr) NAP -0.819

#Блок кода R для вывода графика в целом идентичен

#представленному выше

342

Изменению подвергся блок выводимых результатов для случайных эффектов, который стал включать уже два члена. Первый b1, как и в предыдущей модели, определяет оценку стандартного отклонения свободного члена(Intercept) для модели с фиксированными эффектами. Второй b2 определяет изменчивость угла наклона прямых зависимости Ri от NAPi для всех девяти пляжей:

Можно отметить также, что вариация, сконцентрированная в случайном эффекте b1, в четыре раза превышает дисперсию, заключенную в b2, при высоком коэффициенте корреляции между ними (-0.99).

Другое наше замечание связано с упоминанием загадочной аббревиатуры метода REML, который используется по умолчанию при подгонке смешанных моделей. Он расшифровывается как метод максимального правдоподобия с ограничениями(restricted maximum likelihood). Относительно возможного вопроса о том, чем он отличается от обычного метода максимального правдоподобия(кстати, его также можно использовать, если задать параметрmethod = "ML"), большинство книг на эту тему приводит несколько страниц не слишком дружелюбных формул в духе матричной алгебры, либо избегает деталей и представляетREML, как некий мистический путь"корректировки степеней свободы". Ограничимся этим и мы.

Смешанные модели с использованием всех предикторов

Преобразуем индекс интенсивности абиотических возмущенийExposure в фактор fExp и выполним построение линейной модели, в фиксированной части которой учтем как дифференциальные эффекты, так и эффект парного взаимодействияNAP и fExp:

RIKZ$fExp<-RIKZ$Exposure RIKZ$fExp[RIKZ$fExp==8]<-10 RIKZ$fExp<-factor(RIKZ$fExp,levels=c(10,11)) Mlme4 <- lme(Richness ~1 + NAP * fExp,

random = ~1 + NAP | fBeach, data = RIKZ) summary(Mlme4)

Random effects: Formula: ~1 + NAP | fBeach StdDev Corr

(Intercept) 2.421276 (Intr) NAP 1.507835 -0.801 Residual 2.607753

Общий смысл представленной модели заключается в следующем. Как всегда при построении модели регрессии, мы имеем некоторую неопределенность искомой зависимости числа обнаруженных видов морских животныхRi от высоты пляжаNAPi и

343

интенсивности приливных возмущенийfExpi (фиксированные факторы). Некоторую часть этой неопределенности мы можем объяснитьвариацией между местообитаниями. Объявив для этого в качестве случайного эффектаfBeach, мы оцениваем вклад этого фактора в виде стандартного отклонения соответствующего нормального распределения StdDev. Иными словами, местообитание перестает быть самостоятельным предиктором модели, но, внося свой вклад в общую дисперсию, наряду с необъясняемыми остатками e, ограничивает возможность совершения ошибки1-го рода (отклонение верной нулевой гипотезы).

Здесь, конечно, естественен вопрос: является ли найденная модель оптимальной? Рассчитаем еще две модели: в первой из них исключим член NAP:fExp11, оценивающий парное взаимодействие, который по t- критерию оказался незначимым:

Вторая модель возвращает нас к модели со случайным свободным членом:

Mlme6 <- lme(Richness ~1 + NAP + fExp, data = RIKZ, random = ~1 | fBeach, method = "REML")

summary(Mlme6)

Random effects: Formula: ~1 | fBeach (Intercept) Residual

StdDev: 1.907175 3.059089

Для сравнения полученных моделей используем знакомую нам функцию anova(), которая для смешанных моделей приобретает более расширенный вид:

anova(Mlme4, Mlme5, Mlme6)

Очевидно, что по минимумуAIC-критерия наилучшей моделью являетсяMlme5, которая статистически значимо отличается от остальных двух .моделейОбобщая изложенное, приведем сравнительную таблицу измененияAIC-критерия для всех построенных моделей. Здесь первая модель с одним случайным эффектом, ранее не обсуждавшаяся нами, вообще не включает абиотических факторов, а показывает лишь изменчивость числа видов морских организмов для различных пляжей:

344