2.1. Проверка наличия «выбросов»
Одним из важных предварительных этапов проведения анализа данных является обнаружение «выбросов» (outliers), экстремальных значений в данных, которые могут серьезно исказить результаты исследования. «Выбросами» чаще всего считаются наблюдения, выходящие за пределы +/- 1.5 межквартильного размаха (IQR) от первого и третьего квартиля. Визуально обнаружить выбросы позволяют графики «ящик с усами»
(boxplot).
Среди пользователей R особой популярностью пользуется пакет "ggplot2", позволяющий создавать хорошие визуализации данных. Здесь и далее будем приводить код построения графиков в двух вариантах: базовый R и пакет "ggplot2".
# Базовый R
boxplot(epi.bfi$epiE, col = "steelblue")
13
# Пакет ggplot2 |
|
library(ggplot2) |
|
ggplot(data = epi.bfi, aes(y = epiE)) + |
|
geom_boxplot(outlier.colour = "red", |
# Цвет «выбросов» |
outlier.size = 2, |
# Размер «выбросов» |
fill = "steelblue") + |
# Цвет заливки «коробки» боксплота |
theme_bw() |
|
Точки, выходящие за пределы «усов», сообщают о наличии выбросов. Однако наличие «выбросов» данных не говорит о необходимости их немедленного удаления, прежде следует выяснить причину появления экстремальных значений. Причины могут быть различными: ошибки при внесении данных в сводную таблицу; ошибки при планировании исследования, приведшие к искажению данных; ошибки при выполнении измерений; особенности измеряемой переменной; специфика выборки или отдельных респондентов и т.п. В пакете "outliers" есть специальные тесты, позволяющие обнаружить «выбросы», наиболее популярным является тест Граббса (применим при наличии нормального распределения, подробности настройки см. в справке к ?grubbs.test):
14