Для того чтобы каждый раз при использовании ГПСЧ Rв получать идентичные последовательности чисел, используется функция set.seed() (от set – задать, установить, и seed – начальное число). Как следует из названия, эта функция фиксирует начальную точку для запуска алгоритма генерации(псевдо-)случайных чисел. В качестве аргумента функции указывают произвольное целое число и при повторном выполнении кода мы будем всегда получать одинаковые последовательности значений для групп А, В и С:

set.seed(1020) example = data.frame(

Factor = rep(c("A", "B", "C"), each = 300), Variable = c(rnorm(300, 5, 2),rnorm(300, 4, 3),

rnorm(300, 2, 1)))

Повторив приведенный код четыре раза, мы получили бы четыре идентичные таблицы и, соответственно, четыре идентичных графика, изображающих распределения плотностей вероятности на рисунке (б).

4.6.Законы распределения вероятностей, реализованные в R

Вбазовой версии R имеются функции для работы с целым рядом распространенных законов распределения вероятностей. В зависимости от назначения, имена этих функций начинаются с одной из следующих четырех букв:

°q (от "quantile", квантиль): функции для нахождения квантилей того или иного распределения;

° r (от "random", случайный): функции для генерации случайных чисел в соответствии с параметрами того или иного закона распределения вероятностей.

В частности, в базовой версии R реализованы следующие законы распределения вероятностей:

°Бета-распределение (см. dbeta)

°Биномиальное распределение (включая распределение Бернулли) (dbinom)

°Распределение Коши (dcauchy)

°Распределение хи-квадрат (dchisq)

°Экспоненциальное распределение (dexp)

°Распределение Фишера (df)

°Гамма-распределение (dgamma)

°Гипергеометрическое распределение (dhyper)

°Логнормальное распределение (dlnorm)

°Полиномиальное (или мультиномиальное) распределение (dmultinom)

°Отрицательное биномиальное распределение (dnbinom)

°Нормальное распределение (dnorm)

°Распределение Пуассона (dpois)

°Распределение Стьюдента (dt)

°Равномерное распределение (dunif)

113

Для вычисления квантилей нормального распределения служит функция qnorm(). Например, следующим образом вычислить нижний и верхний квартили стандартного нормального распределения:

qnorm(p = c(0.25, 0.75)) [1] -0.6744898 0.6744898

Наконец, функция rnorm() служит для случайной генерации совокупностей нормально распределенных чисел. Сгенерируем совокупность из10 значений, представляющих стандартное нормальное распределение:

rnorm(10, mean = 0, sd = 1)

[1] -2.69409418 0.09407048 -0.19622289 -1.06719782 -0.55212590 [6] -0.94019419 -0.14916494 0.17760798 -0.29358930 -0.77420692

d-, p-, q- и r-функции для других распределений работают сходным образом. В заключение стоит отметить, что в дополнительных R-пакетах можно найти функции для работы с большим числом других законов распределения вероятностей. Особенно полезными, в частности, могут оказаться пакеты VGAM, actuar, gamlss и ActuDistns.

4.7. Подбор закона и параметров распределения в R

полученная им выборка из неизвестной популяции некой теоретической генеральной совокупности с функцией плотности вероятностиf(x, q), где q является вектором параметров, оцениваемых по имеющимся данным.

Можно выделить 4 шага при подборе распределений (Ricci, 2005):

1)Выбор модели: выдвигается гипотеза о принадлежности выборки некоторому семейству распределений;

2)Оценка параметров теоретического распределения;

3)Оценка качества приближения;

теоретическим. Нахождение корней уравнений выполняется аналитическими методами или с использованием функций, таких, например, как multiroot().

115

(g.est<-((med.gam)^2)/var.gam) ## -оценка гамма [1] 3.533591

# Общий подход library(rootSolve)

f1=function(x){c(F1=x[1]/x[2]-med.gam,F2=x[1]/x[2]^2-var.gam)} multiroot(f1,c(3,0.6))

$root

[1] 3.5335907 0.5257432

При оценке параметров известного семейства вероятностных распределений этот метод в значительной мере вытесняется методом максимального правдоподобия Фишера

величины.

Принцип максимального правдоподобия состоит в том, что в качестве"наиболее правдоподобного" значения параметра берут значение Θ, максимизирующее вероятность получить при n опытах имеющуюся выборку X = (x1,…xn). Предположим, что нам известен закон распределения случайной величины Х, определяемый параметром Θ, но неизвестно численное значение этого параметра. И пусть р(хi, Θ) – вероятность того, что в результате испытания величина Х примет значение хi. Функцией правдоподобия случайной величины Х называют функцию аргумента Θ, определяемую по формуле:

L(х1, х2, …, хп; Θ) = p(x1,Θ)p(x2,Θ)…p(xn,Θ).

Вкачестве искомой точечной оценки параметра Θ принимают такое его значение, при котором функция правдоподобия достигает максимума: qMLE= argmaxL(x | q) , qÎQ.

Для поиска экстремума необходимо найти частную производную функции правдоподобия, приравняв ее к нулю: ¶L(x, qo)/¶q = 0. Если вторая производная в критической точке отрицательна, то это – точка максимума, соответствующая искомому значению параметра. Если нам необходимо найтиk параметров, то формируется и решается система из k уравнений правдоподобия.

Поскольку функции L и ln(L) достигают максимума при одном и том же значении Θ, удобнее искать максимум логарифмической функции правдоподобия. Например, в случае гамма-распределения выражение для функции правдоподобия будет иметь вид:

ln[ L( x1 ,..., xn , g, l)] = -ng ln(l) - n ln(G(g)) + (g - 1)å ln xi - lå xi

116

graph_distr <- function (x, pc, pd, main_name="")

{

op <- par(mfrow=c(1,1), pty="s") par(mfrow=c(1,2))

mn <- paste(c("Эмпирическая КФР и ", main_name)) plot(x,pc, type="l",col="red", lwd=2, main=mn) plot(ecdf(x),add=TRUE)

mn <- paste(c("Эмпирическая ФПР и ", main_name)) plot(density(x), lwd = 2, col="blue", main=mn) lines(x, pd, col="red",lwd = 2)

par(op)

нормальное, лог-нормальное и распределение Вейбулла. Процедура подгонки нашего эмпирического распределения состоит из трех шагов:

°оценка параметров распределения на основе метода максимального правдоподобия;

°проверка гипотезы о согласии эмпирического и теоретического распределений с использованием критерия Колмогорова-Смирнова;

°вывод графика по определенной выше функции(для удобства сопоставления показаны на одном рисунке).

## оценка параметров нормального распределения

(dof = fitdistr(x,"normal")) ep1=dof$estimate[1]; ep2=dof$estimate[2]

mean sd 0.89502201 0.53760487 (0.05376049) (0.03801440)

ks.test(x,pnorm, mean=ep1,sd=ep2) One-sample Kolmogorov-Smirnov test

data: x

D = 0.1342, p-value = 0.05463 alternative hypothesis: two-sided

graph_distr(x, pnorm(x,mean=ep1,sd=ep2), dnorm(x,mean=ep1,sd=ep2),

"нормального распределения")

## оценка параметров лог-нормального распределения

(dof = fitdistr(x,"log-normal")) ep1=dof$estimate[1]; ep2=dof$estimate[2]

meanlog sdlog -0.30750108 0.69803371 ( 0.06980337) ( 0.04935844)

ks.test(x,plnorm, meanlog=ep1,sdlog=ep2) One-sample Kolmogorov-Smirnov test

data: x

D = 0.1161, p-value = 0.1346 alternative hypothesis: two-sided

graph_distr(x, plnorm(x,meanlog=ep1,sdlog=ep2), dlnorm(x,meanlog=ep1,sdlog=ep2),

"логнормального распределения")

118

## оценка параметров распределения Вейбулла

(dof = fitdistr(x,densfun=dweibull,start=list(scale=2,shape=2))) ep1=dof$estimate[1]; ep2=dof$estimate[2]

1: In dweibull(x, shape, scale, log) : созданы NaN

Ввиду того, что при оптимизации были получены неопределенные значения, выполним расчет по аналогичной функции из другого пакета

library(fitdistrplus)

(dof = fitdist(x,"weibull")) ep1=dof$estimate[1]; ep2=dof$estimate[2]

Fitting of the distribution ' weibull ' by maximum likelihood Parameters:

estimate Std. Error shape 1.745618 0.12932631 scale 1.005806 0.06078022

ks.test(x,pweibull, shape=ep1,scale=ep2) One-sample Kolmogorov-Smirnov test

data: x

D = 0.0897, p-value = 0.3968 alternative hypothesis: two-sided

graph_distr(x, pweibull(x,scale=ep1,shape=ep2), dweibull(x,scale=ep1,shape=ep2),

"распределения Вейбулла")

Из приведенных расчетов с использованием теста Колгогорова-Смирнова можно сделать вывод, что все три теоретических распределения статистически значимо согласуются с эмпирическим. В этих условиях и при отсутствии серьезных априорных предположений о законе распределения возникает традиционная(но так однозначно и не решенная) задача статистики: какую модель из некоторого множества претендентов следует предпочесть?

относительные средние разности, критерий c2 или та же D-статистика КолмогороваСмирнова. Ориентируясь, например, на значения последнего критерия, можно полагать нашу выборку распределенной по закону Вейбулла(одн ко, возможно, другие используемые меры дадут иную предупорядоченность моделей).

В общем случае вопрос о ,томявляются ли полученные оценки параметров наилучшими, обычно остается открытым. Во-первых, соображения, из которых задается вид теоретического распределения, часто оказываются субъективными. Это нередко приводит к тому, что, выполнив вычисления, мы полагаем, что найдены оценки истинных характеристик генерального распределения, тогда как на самом деле получены оценки параметров некого теоретического распределения, которое может быть всего лишь "похожим" на распределение генеральной совокупности, из которого взята выборка. Во-

вторых, обычно мы ничего не можем сказать об устойчивости модели и ошибке ее воспроизводимости: нет никакой гарантии, что при взятии повторной выборки расхождение искомых величин параметров не окажется слишком большим.

120

например, количество отловленных мышей, результаты стрельбы по мишеням, число избирателей, проголосовавших за каждого кандидата и т..дСчетные данные занимают некоторое промежуточное положение между числами, представленными на непрерывных шкалах, и измерениями в порядковой шкале.

Поэтому "спектр" возможных распределений-претендентов для выборок, состоящих из счетных данных, может включать как дискретные, так и непрерывные теоретические распределения.

Рассмотрим следующий пример: из маленькой речки Байтуган было сделано дночерпателем 60 проб и подсчитывалось число обнаруженных видов донных организмов

(моллюсков, рачков, червей, личинок). Это число варьирует от 2 до 30 при среднем x = 11.2. Какое распределение является лучшим с формально-статистической точки зрения: Пуассона с l = 11.2 или нормальное?

x <- c(12,20,19,19,18,10,19,30,16,10,8,11,10,11,16,3,7,6,5,11, 8,14,9,8,10,11,14,17,2,7,17,19,9,15,9,8,4,8,11,8,5,3,10, 14,22,11,8,7,3,5,8,11,14,2,13,9,12,6,19,21)

#Оценка параметров распределений нормального и Пуассона n = length(x); p1 = mean(x) ; p2 = sqrt(var(x)*(n-1)/n)

#Создание векторов эмпирических и теоретических частот pr_obs <- as.vector(table(x)/n) ; nr <- length(pr_obs) pr_norm <- dnorm(1:nr, p1, p2) # Частоты нормального распр.

lines(1:nr, pr_pois , col="red", lwd=2) lines(1:nr, pr_norm, col="blue", lwd=2)

legend("topright", legend = c("Нормальное", "Пуассона"), lwd=2, col=c("red","blue"))

#Сравнение качества подгонки распределений

#Среднее абсолютное отклонение

c(sum(abs(pr_obs-pr_norm))/nr, sum(abs(pr_obs-pr_pois))/nr) [1] 0.02314994 0.03176255

# Средняя квадратичная ошибка c(sum((pr_obs-pr_norm)^2)/nr, sum((pr_obs-pr_pois)^2)/nr) [1] 0.0009595203 0.0017446052

# Критерий согласия Колмогорова-Смирнова c(ks.test(pr_obs, pr_norm)$statistic,

ks.test(pr_obs, pr_pois)$statistic) [1] 0.2272727 0.4090909

Можно усмотреть из полученных результатов, что по всей совокупности тестов нормальное распределение обеспечивает наименьшую ошибку аппроксимации данных.

121

4.8. Проверка на нормальность распределения

Далее в главе6 будет показано, что проверка исследуемых переменных на нормальность распределения является важной составной частью разведочного анализа данных. Существует несколько способов такой проверки и их можно разделить на две рассмотренные ниже группы.

Графические способы

Самый простой графический способ проверки характера распределения данных– это построение гистограммы. Если гистограмма имеет колоколообразный симметричный вид, можно сделать заключение о том, что анализируемая переменная имеет примерно нормальное распределение. Однако при интерпретации гистограмм следует соблюдать

осторожность, поскольку их внешний вид может сильно зависеть как от числа наблюдений, так и от шага, выбранного для разбиения данных на классы(подробнее см.

раздел 3.2). Кроме того, достаточно часто при анализе выборок, извлеченных из смеси нормально распределенных совокупностей, гистограммы приобретают асимметричный вид, вводя исследователя в заблуждение.

Например, на гистограмме распределения веса1193 воробьев (Zuur et al., 2010) слева приведены объединенные данные для июня, июля и августа. Поскольку вес птиц зависит от времени года, гистограмма приобретает асимметричный вид. На графике справа показаны те же данные, но отдельно по каждому месяцу. На основании этого графика Цуур с соавторами заключают(на наш взгляд, без достаточно серьезных оснований), что на самом деле вес воробьев имеет примерно нормальное распределение.

Другим очень часто используемым графическим способом проверки характера

совокупностями, для которых невозможно построить гистограммы, принимающие какуюлибо выраженную форму.

123

"субъективно-эмоциональный характер". Например, одни исследователи могут полагать, что экспериментальные точки в значительной степени отклоняются от диагонали теоретических квантилей, а другие на том же графике сочтут эти отклонения достаточно приемлемыми для принятия гипотезы о нормальности.

Проблема объективной количественной оценки меры расхождения(deviation test) эмпирической и теоретических кривых является одной из важнейших задач прикладной статистики. Б. Рипли (Ripley, 1978) ввел удобный графический метод для анализа возможных причин расхождения модели и данных– метод огибающих (simulation envelopes). В основе алгоритма имитаций лежит, в частности, параметрический бутстреп.

Используем метод огибающих для оценки расхождений между квантилями нормального распределения и стьюдентизированными значениями случайной выборки из смеси распределений Вейбулла(анализировалась в разделе 4.7). Для этого извлечем из

нормальных выборок является ограниченной (n = 100), то их кривые не будут полностью совпадать с теоретической линией квантилей (к которой они будут приближаться при n ® ¥), но их совокупный статистический разброс даст нам объективную оценку, в каких "допусках" может быть принята гипотеза о нормальности. Если задаться доверительной вероятностью g = (1 - a/2) , то можно найти геометрическое место точек гипотетических огибающих, внутри которых будет находиться g% имитаций теоретической модели:

set.seed(1946)

x = sort(rweibull( 100, 2, (1 + 1.21*rbinom(100, 1, 0.05)) )) c(mean(x), sd(x))

[1] 0.89502201 0.53760487

#Квантиль-квантильный график без доверительных огибающих qqnorm(x); qqline(x)

#Определяем и рисуем огибающие

#(подробности п. 4.2.4 Davison and Hinkley (1997)

z <- (x - mean(x))/sqrt(var(x)) # Стандартизация выборки x.qq <- qqnorm(z, plot.it = FALSE)

x.qq <- lapply(x.qq, sort)

plot(x.qq, ylim = c(-2, 5), ylab = "Z-статистики выборки", xlab = "Квантили НР")

library(boot)

#Генерация 999 бутстреп-выборок (т.е. случайных выборок из

#нормального распределения с параметрами выборки z) x.gen <- function(dat, mle) rnorm(length(dat)) x.qqboot <- boot(z, sort, R = 999,

sim = "parametric",ran.gen = x.gen) sapply(1:999,function(i) lines(x.qq$x, x.qqboot$t[i,],

type="l", col = "grey"))

points (x.qq, pch = 20)

lines(c(-3,3), c(-3,3),col = "red", lwd=2)

124

На графиках для нашего примера можно обнаружить группы , точеккоторые

Если, например, указать для функции sm.density() параметр model = "Normal", то получим на графике такую же доверительную полосу, но относительно теоретической функции плотности распределения при выборочных значениях параметров. На этом же графике показывается кривая ядерной плотности для эмпирических данных и можно оценить, насколько правдоподобно предположение о нормальности, и в каких диапазонах анализируемой переменной наблюдаются отклонения:

Формальные тесты

Существует целый ряд статистических тестов, специально разработанных для проверки нормальности распределения данных. В общем виде проверяемую при помощи этих тестов нулевую гипотезу можно сформулировать : т"анализируемаяк выборка происходит из генеральной совокупности, имеющей нормальное распределение". Если получаемая при помощи того или иного теста вероятность ошибкир оказывается меньше некоторого заранее принятого уровня значимости(например, 0.05), нулевая гипотеза отклоняется.

В R реализованы практически все имеющиеся тесты на нормальность– либо в виде стандартных функций, либо в виде функций, входящих в состав подгружаемых пакетов. Примером базовой функции являетсяshapiro.test(), при помощи которой

126

можно выполнить широко используемый тест Шапиро-Уилка. Можно также перечислить функции из пакетаnortest, реализующие другие распространенные тесты на нормальность:

°ad.test() - тест Андерсона-Дарлинга;

°cvm.test() - тест Крамера фон Мизеса;

°lillie.test() - тест Колмогорова-Смирнова в модификации Лиллиефорса;

°sf.test() - тест Шапиро-Франсия (см. Thode, 2002).

Выполним серию тестов на проверку нормальности все той же случайной выброки из смеси распределений Вейбулла(раздел 4.7) с использованием всех перечисленных критериев:

# Тесты на нормальность shapiro.test(x)

Shapiro-Wilk normality test

data: x

W = 0.8986, p-value = 1.219e-06

library(nortest) ad.test(x)

Anderson-Darling normality test

data: x

A = 2.0895, p-value = 2.382e-05 cvm.test(x)

Cramer-von Mises normality test

data: x

W = 0.3369, p-value = 0.0001219 lillie.test(x)

Lilliefors (Kolmogorov-Smirnov) normality test

data: x

D = 0.1348, p-value = 0.0001225 sf.test(x)

Shapiro-Francia normality test

data: x

W = 0.8936, p-value = 3.617e-06

Обратим внимание на то, что тест Колмогорова-Смирнова, выполненный в разделе 4.7, не нашел оснований отклонить нулевую гипотезу о нормальном характере распределения анализируемых данных, что свидетельствует о недостаточной мощности этого критерия согласия при малых и средних объемах выборок.

127