7.1. Подготовка данных

7.1.1 Порядок выявления аномальных значений

Аномальные или «выскакивающие» значения - это единичные значения, сильно отличающиеся от основной массы. Выскакивающие значения могут появиться в случае ошибки при переписывании данных, при введении информации в компьютер, или, к примеру, если кто-то из испытуемых отнесся к исследованию психолога несерьезно и сообщил ложные данные, и еще во многих других случаях. «Выскакивающие» значения из дальнейших расчетов следует исключить.

Порядок проверки статистической гипотезы с помощью различных статистических критериев следующий:

1. Выборка упорядочивается в порядке возрастания вариант (то есть значений случайной величины).

2. Для проверки на аномальность (Ашмарин И.П. и др., 1971) наименьшего значения рассчитывается параметр

то есть частное от деления разности между наименьшей вариантой выборки и следующей за ней по величине |Х₁- X₂| на размах выборки (X_n-X₁). Полученное эмпирическое значение сравнивается по абсолютной величине с критическим, приведенным в таблице 2 Приложения для требуемого уровня достоверности. Если эмпирическое значение превышает критическое, либо равно ему по абсолютной величине, то наименьшую варианту следует признать аномальной и из дальнейших расчетов ее надо исключить.

3. Аналогично следует проверить на аномальность и наибольшую варианту. В этом случае рассчитывается

то есть частное от деления разности между наибольшей вариантой и предшествующей ей по величине (Х_n- X_n-1) на размах выборки (X_n-X₁), и полученное эмпирическое значение сравнивается с критическим (табл.). Если эмпирическое значение превышает критическое либо равно ему по абсолютной величине, то наибольшую варианту следует из дальнейших расчетов исключить как аномальную.

Например, имеется выборка, включающая следующие результаты испытуемых (данные упорядочены, то есть выписаны в порядке увеличения значений):

14, 19, 21, 23, 24, 25, 26, 27, 29, 31, 34, 36, 39, 54.

Проверка на наличие выскакивающих значений:

Минимальное значение:	а =	14-19	=	5	=	0,125
		54-14		40

Критическое значение а для 14 испытуемых равно 0.350¹ (р=0.05). Эмпирическое значение а меньше критического, следовательно, значение 14 аномальным не является.

Максимальное значение:	а =	54-39	=	15	=	0,375
		54-14		40

Эмпирическое значение больше критического 0.350 (р=0.05), то есть значение 54 является аномальным и его следует из дальнейших расчетов исключить.

Все приведенные ниже в задачах данные проверены на наличие аномальных значений.

7.1.2 Проверка эмпирического распределения на его соответствие нормальному распределению

Есть целый ряд методик, позволяющих проверить, значимо ли отличается исследуемое эмпирическое распределение от нормального. Эти методы описаны в специальной литературе по математической статистике. Представляется, что наиболее быстро и достаточно надежно можно сопоставить эмпирическое распределение с нормальным, выполнив следующие шаги:

1. построить полигон (или гистограмму) распределения и убедиться, что он напоминает колоколообразную кривую;

2. сравнить эмпирическое распределение с нормальным с помощью критерия ² Пирсона по формуле

где f_i - эмпирическая частота для интервала квантования, f_t - теоретическая частота для того же интервала. Критерий Пирсона позволяет сопоставлять значимость отличия эмпирической частоты интервалов квантования с теоретической частотой для тех же интервалов.

Из свойств стандартного нормального распределения известно, какая часть испытуемых должна попадать в тот или иной интервал z-оценок в случае нормального распределения параметра. Можно подобрать граничные значения z, которые будут делить стандартное нормальное распределение на равные части; удобно, если таких частей будет 5 или 4. Так, интервалы z-оценок от - до -0.85, от -0.85 до -0.25, от -0.25 до +0.25, от +0.85 до +0.25 и +0.85 до + делят стандартное нормальное распределение на 5 частей по 20% значений в каждой(N/5, где N - общее количество испытуемых) (таблица2 Приложения). Величина N/5 представляет собой теоретическую (ожидаемую) частоту f_t для интервалов квантования. Рассчитав z-оценки испытуемых исследуемой выборки, мы можем узнать, сколько испытуемых фактически имеют z-оценки от -  до -0.85, сколько от -0.85 до -0.25, сколько от -0.25 до +0.25, сколько от +0.25 до +0.85 и сколько испытуемых попадает в интервал z-оценок от +0.85 до +. Полученные 5 чисел представляют собой эмпирическую частоту f_i для каждого из интервалов квантования. Зная f_i и f_t можно рассчитать эмпирическое значение параметра ².

Порядок действий при сравнении эмпирического распределения с нормальным следующий:

1. Рассчитать среднее арифметическое М_х и среднеквадратическое отклонение выборки .

2. Рассчитать z-оценки испытуемых по формуле

3. Подсчитать количество испытуемых, имеющих z-оценки от -  до -0.85, от -0.85 до -0.25, от -0.25 до +0.25, от +0.25 до +0.85 и от +0.85 до +..

4. Рассчитать теоретическую частоту для интервалов квантования f_t=N/5.

5. Сформулировать нулевую и альтернативную гипотезы:

Н₀: Распределение случайной величины не отличается значимо от нормального распределения.

Н₁: Распределение случайной величины значимо отличается от нормального распределения.

6. Рассчитать эмпирическое значение критерия ² и сравнить его с критическим значением, взятым из таблицы с учетом числа степеней свободы =k-3, где k - число интервалов квантования (в нашем случае k=5). При =2 и доверительной вероятности 95% ²_кр=5.99, при доверительной вероятности 90% ²_кр = 4.61, а при 1- = 80% ²_кр=3.22 (Таблица 3 Приложения). Поскольку при сравнении эмпирического распределения с нормальным исследователь заинтересован не допустить ошибку второго рода , то для повышения надежности вывода следует принимать по возможности более низкий уровень доверительной вероятности. Если эмпирическое значение оказывается меньше критического, то принимается нулевая гипотеза: распределение признается не отличающимся значимо от нормального и для него можно использовать параметрические критерии.

Задача: Можно ли использовать для приведенной ниже выборки данных, характеризующих уровень социальной активности студентов в группе, состоящей из 26 человек, параметрические критерии?

14, 17, 26, 9, 21, 12, 17, 18, 11, 20, 18, 17, 25, 19, 15, 29, 16, 18, 24, 17, 16, 10, 11, 26, 14, 16.

Гистограмма для данной выборки имеет следующий вид (взяты интервалы [8-10], [11-13], [14-16], [17-19] и т.д.):

Рис. 5. Гистограмма распределения уровня социальной активности студентов.

Среднее арифметическое значение выборки 17.54, дисперсия 27.138, стандартное отклонение 5.209. Расчет стандартизированных значений приводится в таб. 8.

Таблица 8.

Х	Х-Мх	(Х-Мх)2	Z=(Х-Мх)/	Х	Х-Мх	(Х-Мх)2	Z=(Х-Мх)/
9	-8,54	72,905	-1,64	17	-0,54	0,290	-0,10
10	-7,54	56,828	-1,45	17	-0,54	0,290	-0,10
11	-6,54	42,751	-1,26	18	0,46	0,213	0,09
11	-6,54	42,751	-1,26	18	0,46	0,213	0,09
12	-5,54	30,675	-1,06	18	0,46	0,213	0,09
14	-3,54	12,521	-0,68	19	1,46	2,136	0,28
14	-3,54	12,521	-0,68	20	2,46	6,059	0,47
15	-2,54	6,444	-0,49	21	3,46	11,982	0,66
16	-1,54	2,367	-0,30	24	6,46	41,751	1,24
16	-1,54	2,367	-0,30	25	7,46	55,675	1,43
16	-1,54	2,367	-0,30	26	8,46	71,598	1,62
17	-0,54	0,290	-0,10	26	8,46	71,598	1,62
17	-0,54	0,290	-0,10	29	11,46	131,367	2,20

Сформулируем нулевую и альтернативную гипотезы:

Н₀: Распределение случайной величины не отличается значимо от нормального распределения.

Н₁: Распределение случайной величины значимо отличается от нормального распределения.

В интервале от - до -0.85 фактически находится 5 стандартизированных значений, в интервал от -0.85 до -0.25 попадает 6 значений, интервал от -0.25 до +0.25 включает 7 значений, в интервале от +0.25 до +0.85 мы имеем 3 значения и, наконец, в интервал от +0.85 до +  попадает 5 значений. Теоретическая частота для каждого интервала равна 26/5=5.2.

Значение

2эмп	=	(5-5,2)2+(6-5,2)2+(7-5,2)2+(3-5,2)2+(5-5,2)2	=	1,692
		5,2

Критическое значение критерия ² при =0.20 составляет 3.22 (таблица 3 Приложения), эмпирическое значение 1.692 меньше критического, то есть мы можем принять нулевую гипотезу (=0.20). Ответ задачи можно сформулировать следующим образом: «Использовать параметрические критерии для исследуемой выборки возможно, поскольку распределение случайной величины не отличается значимо от нормального (=0.20)».

Проверкой распределения на соответствие его нормальному типу посуществу заканчивается стадия подготовки данных. Результатом такой подготовки должна явиться таблица исходных данных, сопровождаемая параметрами распределения. Для распределений, близких к нормальному, внизу таблицы указываются среднее арифметическое, дисперсия и (или) стандартное отклонение. Если распределение отличается значимо от нормального, то следует указать медиану М_е и межквартильное отклонение q, которые более полно характеризуют центральную тенденцию и рассеивание таких распределений. Межквартильное отклонение q, рассчитывается по формуле

где Q₁ и Q₃ - соответственно первый и третий квартиль.

Далее, в зависимости от

• характера поставленной задачи,

• объема выборок,

• типа выборок (зависимые или независимые),

• свойств распределений (нормальное или отличное от него)

выбирается критерий для ее решения. Параметрические критерии следует использовать только при достаточном объеме (более 15-20 испытуемых) и нормальном распределении обоих выборок. Во всех остальных случаях лучше использовать непараметрические методы.

Таблица 9.

Классификация задач и рекомендуемые методы их решения

Вид задачи	Условия	Метод решения	Ограничения использования метода
Выявление сходства- различия в уровне исследуемого признака	Две независимые выборки испытуемых	t - критерий Стьюдента	Признак должен быть измерен в шкале отношений или интервалов, Распределение признака должно относиться к нормальному типу (см. 2 --критерий Пирсона) Дисперсии выборок должны быть равны (см. F-критерий Фишера) Необходимо достаточно большое количество испытуемых в каждой выборке (рекомендуется не менее 16).
		U - критерий Манна-Уитни*	1. Выборки должны относиться к сходному типу распределения (см. 2 - критерий Пирсона), Количество испытуемых в каждой выборке от 3 до 60, Признак может быть измерен в шкале рангов, интервалов или отношений
	три или более независимых выборок	Т-критерий Вилкоксона для множественных сравнений	1. Количество испытуемых в группе от 3 до 25, количество групп от 3 до 10 Признак может быть измерен в шкале рангов, интервалов или отношений
Сравнение уровня признака в выборке со средним значением генеральной совокупности или с нормативным значением	одна выборка испытуемых	t - критерий Стьюдента	1. Признак должен быть измерен в шкале отношений или интервалов
Установление сходства-различия дисперсий признака	Две независимые выборки испытуемых	F - критерий Фишера	Признак должен быть измерен в шкале отношений или интервалов
Оценка сдвига значений исследуемого признака	два замера на одной и той же выборке испытуемых	t- критерий Стьюдента	Признак должен быть измерен в шкале отношений или интервалов. Распределение признака должно быть нормальным (см.2 - критерий Пирсона) Достаточное количество испытуемых (рекомендуется не менее 16).
		Т - критерий Вилкоксона для попарных сравнений	1. Количество испытуемых от 5 до 50 Признак может быть измерен в шкале рангов, интервалов или отношений
	три и более замеров на одной и той же выборке	L - критерий тенденций Пейджа	Количество испытуемых от 2 до 12, количество замеров от 3 до 6 Признак может быть измерен в шкале рангов, интервалов или отношений.
Выявление различий в распределении признаков	Сопоставление эмпирического распределения с нормальным.	2 - критерий Пирсона	1. Признак должен быть измерен в шкале отношений или интервалов.
	Сопоставление эмпирического распределения равномерным	2 - критерий Пирсона	1. Признак может быть измерен в шкале рангов, интервалов или отношений
	Сопоставление двух эмпирических распределений между собой	- критерий Колмогорова-Смирнова	1. Оба признака должны быть измерены в шкале рангов, либо в метрических шкалах (шкале интервалов или отношений).
	Два признака, измеренные в шкале наименований	2 - критерий Пирсона
	Два признака, измеренные в шкале отношений или в интервальной шкале	rxy - коэффициент линейной корреляции Пирсона	Распределение обоих признаков должно относится к нормальному типу, Количество измерений должно быть достаточно большим (рекомендуется не менее 16)
Исследование взаимосвязи признаков	Признаки измерены в шкале рангов, либо в шкале интервалов, ли-бо в шкале отношений	rs - коэффициент ранговой корреляции Спирмена
	Один из признаков измерен в дихотомической шкале, а другой - в шкале отношений или в интервальной шкале	rpb - точечно-бисериальный коэффициент корреляции	Распределение признака, измеренного в шкале отношений или в интервальной шкале, должно относиться к нормальному типу Количество измерений признака должно быть достаточно большим (рекомендуется не менее 16)
Корреляция иерархий признаков	Два профиля (две иерархии) признаков в шкале рангов	rs - коэффициент ранговой корреляции Спирмена
* - курсивом выделены непараметрические методы