Практическая работа 5 дисперсионный анализ

Цель работы: получение практических навыков статистической обработки многовариантных, многофакторных экспериментов, когда анализируется влияние одного, двух, трех и большего числа факторов на изменение величины какого-либо признака.

Порядок выполнения работы:

1. Установление основных источников варьирования и определение объемов вариации по источникам образования.

2. Определение числа степеней свободы вариации.

3. Вычисление дисперсий и анализ соотношений между ними.

4. Интерпретация полученных результатов анализа.

Дисперсионный анализ быстро вошел в употребление благодаря следующим основным преимуществам:

1. В дисперсионном анализе используется обобщенная ошибка средних, которая опирается на большое число наблюдений.

2. Этим методом можно обрабатывать данные простых и сложных, однолетних и многолетних, однофакторных и многофакторных опытов.

3. Позволяет компактно в виде существенных разностей представить итоги статистической обработки.

При дисперсионном анализе проводят расчет дисперсий:

• общей (дисперсия комплекса);

• межгрупповой (факторная);

• внутригрупповой (остаточная).

Общая дисперсия ( ) измеряет вариацию признака во всей совокупности под влиянием всех факторов, обусловивших эту вариацию:

.

Межгрупповая дисперсия ( ) характеризует систематическую вариацию, т.е. различия в величине изучаемого признака, возникающие под влиянием признака-фактора, положенного в основание группировки.

,

где - групповые средние,

- численность единиц в группе.

Внутригрупповая дисперсия ( ) отражает случайную вариацию, т.е. часть вариации, происходящую под влиянием неучтенных факторов и не зависящую от признака-фактора, положенного в основание группировки:

- для несгруппированных данных;

- для сгруппированных данных.

Средняя из внутригрупповых дисперсий определяется следующим образом:

.

Существует закон, связывающий три вида дисперсии. Общая дисперсия равна сумме средней из внутригрупповых и межгрупповой дисперсий:

.

Данное соотношение называют правилом сложения дисперсий.

Правило сложения дисперсий широко применяется при исчислении показателей тесноты связи.

В статистическом анализе широко используется показатель, представляющий собой долю межгрупповой дисперсии в общей дисперсии. Он носит название эмпирического коэффициента детерминации ( ):

.

Этот коэффициент показывает долю (удельный вес) общей вариации изучаемого признака, обусловленную вариацией группировочного признака.

Эмпирическое корреляционное отношение ( ) характеризует влияние признака, положенного в основание группировки, на вариацию результативного признака:

.

Эмпирическое корреляционное отношение изменяется в пределах от 0 до 1. Если , то группировочный признак не оказывает влияния на результативный. Если , то результативный признак изменяется только в зависимости от признака, положенного в основание группировки, а влияние прочих факторных признаков равно нулю.

Дисперсионный анализ – метод оценки существенности различий нескольких средних. Его применяют при статистической обработке многовариантных, многофакторных опытов.

Критерий, используемый для оценки различий между выборочными средними, назван в честь Р.Фишера критерием F – распределения. Критерий F представляет собой отношение двух дисперсий:

где и - средние квадраты (дисперсии), рассчитанные по выборочным данным с учетом числа степеней свободы вариации¹.

Теоретическое значение F показывает случайную величину отношения двух дисперсий при данном уровне вероятности суждения и соответствующем числе степеней свободы анализируемых дисперсий. Критерий F связывают с вероятностью. Наиболее часто применяют уровни вероятности суждения – 0,95 и 0,99 (5 и 1%-ный уровни). Это означат, что только в пяти (в одном) случаях из 100 значение F может достигать табличного уровня или быть больше него для отношения дисперсий двух выборок, сделанных из одной и той же генеральной совокупности.

Табличное значение F используется как критерий для оценки фактических отношений дисперсий, рассчитанных по выборочным данным. Если F_факт > F _табл, мало вероятно, что такое отношение случайное. А, значит, и различия в вариации нельзя отнести только за счет случайного колебания их уровня, и разница между средними существенна. В случае, когда F_факт ≤ F _табл, при данном уровне вероятности суждения и соответствующем числе степеней свободы это означает, что различия между сравниваемыми дисперсиями находятся в пределах возможных случайных колебаний.

Порядок проведения дисперсионного анализа идентичен при простых моделях, когда группировочный признак один, и при сложных моделях, когда группировочных признаков два или больше. Но с увеличением числа группировочных признаков более сложен процесс расчленения вариации по источникам образования.

При группировке по одному признаку общий объем вариации можно разложить на вариацию, связанную с действием группировочного признака, и вариацию внутригрупповую (остаточную):

.

Исходные данные для проведения однофакторного дисперсионного анализа могут быть представлены в виде статистической таблицы (таблица 1).

Таблица 1 - Исходные данные.

Вариант	Исходные данные, y
1	y11	y12	…	y1n
2	y21	y22	…	y2n
…	…	…	…	…
i	yi1	yi2	…	yin

При группировке по одному признаку группы могут быть равными и неравными, сформированы в случайном порядке, когда наблюдения одной группы не связаны с наблюдением другой группы, или неслучайном, когда наблюдения одной группы связаны с наблюдениями другой группы.

В опытах, где формируются группы соответственно числу повторностей по каждому варианту, схема дисперсионного анализа предусматривает исключение из общего объема вариации тех колебаний, которые обусловлены влиянием фактора, различиями в повторах и индивидуальными различиями внутри каждой группы.

Таким образом, общая сумма квадратов подразделяется на сумму квадратов отклонений вариантов опыта (групповая), сумму квадратов отклонений повторений и остаточную сумму квадратов:

.

Данные для обработки такого вида комплекса можно представить в виде статистической таблицы (таблица 2):

Таблица 2 - Расположение данных в таблице для проведения дисперсионного анализа однофакторного сопряженного статистического комплекса.

Вариант	Повторения
	1	2	3	…	n
1	y11	y12	y13	…	y1n
2	y21	y22	y23	…	y2n
…	…	…	…	…	…
i	yi1	yi2	yi3	…	yin

При группировке данных по двум признакам общая сумма квадратов отклонений будет иметь уже две групповые суммы квадратов и сумму квадратов отклонений взаимодействия факторов и остаточную:

.

Исходные данные для проведения двухфакторного дисперсионного анализа с повторениями представлены в виде таблицы (таблица 3):

Таблица 3 - Расположение данных в таблице для двухфакторного дисперсионного анализа с повторениями.

Вариант	Аm
	В1	В2	…	Вn
1	y11	y12	…	y1n
2	y21	y22	…	y2n
…	…	…	…	…
i	yi1	yi2	…	yin

Если формирование групп будет неслучайным, разложение сумм квадратов усложнится. В итоге при группировке по двум признакам и неслучайном распределении повторностей по группам дисперсионный анализ проводится по следующей схеме:

.

После того, как определены суммы квадратов, необходимо установить степени свободы вариации, соответствующие каждой сумме квадратов.

При группировке данных по одному признаку и случайному распределению повторностей в группах общее число степеней свободы составит , для групповой вариации (количество средних k минус 1), для остаточной вариации (общее число степеней свободы минус число степеней свободы для групповой вариации). Определение числа степеней свободы при группировке по одному (двум) признакам и неслучайном распределении повторностей далее рассмотрено на конкретных примерах.

После определения числа степеней свободы и суммы квадратов отклонений рассчитываются групповая и остаточная дисперсии:

Дисперсия групповая ( ) характеризует в среднем вариацию, обусловленную влиянием группировочного признака и определяется так:

.

Дисперсия остаточная ( ) измеряет вариацию, обусловленную случайными причинами, которые не учитывались при распределении данных наблюдений на группы:

.

Если групповая дисперсия значительно больше остаточной, то фактор оказывает существенное влияние на величину признака. Фактическое отношение групповой дисперсии к остаточной ( ) сравнивают с табличным значением F.

Отношение дисперсий групповой и остаточной позволяет сделать с определенной вероятностью вывод о том, достоверны ли различия в средних. Если есть необходимость сделать заключение об отдельных парах средних, этот вывод недостаточен.

Поэтому результаты дисперсионного анализа дополняются оценкой достоверности разности между двумя средними.

Для этого рассчитывается средняя ошибка выборочных средних на основе остаточной дисперсии:

.

Средняя ошибка разности двух средних - корень квадратный из суммы квадратов средних ошибок сравниваемых средних, но так как m² одинакова для всех средних,

.

Принимая доверительный уровень вероятности по таблицам t Стьюдента, определяют критическую величину t.

На основе средней ошибки разности двух средних и t_табл вычисляют возможную предельную ошибку этой разности:

.

Предельная ошибка сопоставляется с разностью двух сравниваемых средних:

.

Если разница между средними больше по абсолютной величине возможной предельной ошибки, то делается вывод о существенности разности средних. Если же , то разница между средними лежит в границах возможных случайных колебаний, т.е. она недостоверна.

Величину принято называть наименьшей существенной разностью.

Рассмотрим дисперсионный анализ на конкретных примерах.

Пример 1.

Имеются данные о заработной плате 20 работников фирмы:

Таблица 4 - Данные о заработной плате работников фирмы.

№п/п	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20
З/пл, тыс. руб.	1,3	1,7	2,3	2,7	3,0	3,2	3,4	3,5	3,6	3,7	3,9	4,2	4,4	4,5	4,7	4,8	5,0	5,2	5,7	5,8

Используя правило сложения дисперсий, определить степень влияния уровня образования работников на заработную плату, если работники со средним специальным образованием имеют заработную плату до 3,5 тыс. руб., с высшим – более 3,5 тыс. руб.

Для определения степени влияния образования работников на их заработную плату, определяем группировочный признак и строим таблицу. Результативным признаком является заработная плата, факторным – образование работников.

Таблица 5 - Распределение заработной платы работников в зависимости от уровня образования.

Среднее специальное				Высшее
№ п/п	з/пл, тыс. руб. xi			№ п/п	з/пл, тыс. руб. xi
1	1,3	-1,3	1,69	1	3,6	-1,0	1,00
2	1,7	-0,9	0,81	2	3,7	-0,9	0,81
3	2,3	-0,3	0,09	3	3,9	-0,7	0,49
4	2,7	0,1	0,01	4	4,2	-0,4	0,16
5	3,0	0,4	0,16	5	4,4	-0,2	0,04
6	3,2	0,6	0,36	6	4,5	-0,1	0,01
7	3,4	0,8	0,64	7	4,7	0,1	0,01
8	3,5	0,9	0,81	8	4,8	0,2	0,04
				9	5,0	0,4	0,16
				10	5,2	0,6	0,36
				11	5,7	1,1	1,21
				12	5,8	1,2	1,44
Итого:	21,1		4,57	Итого:	55,5		5,73

Внутригрупповые дисперсии определим по формуле:

Внутригрупповые дисперсии показывают вариацию заработной платы по группам, вызванные всеми возможными факторами (стаж работы, квалификация, должность, производительность труда и др.), кроме образования работников.

Среднюю из внутригрупповых дисперсий определим по формуле:

.

Межгрупповая дисперсия исчисляется по формуле:

.

Определим общую среднюю по формуле средней арифметической простой:

Межгрупповая дисперсия показывает вариацию заработной платы, обусловленную влиянием образования работников.

Общую дисперсию определяем на основании правила сложения дисперсий:

Определим долю межгрупповой дисперсии в общей с помощью эмпирического коэффициента детерминации:

На 64,9% вариация заработной платы обусловлена влиянием уровня образования работников и на 35,1% (100-64,9) влиянием прочих факторов, не учтенных в группировке.

Эмпирическое корреляционное отношение:

.

Эмпирическое корреляционное отношение показывает тесноту связи между результативным и факторным признаком. Оно равно 0,81, следовательно, связь между заработной платой и уровнем образования работников - тесная.

Пример 2. Дисперсионный анализ при группировке данных по одному признаку (неслучайное распределение наблюдений в группах).

Правление фирмы решает изучить результаты продвижения на книжный рынок научной литературы, надеясь извлечь из них информацию, которой можно было бы воспользоваться при организации и проведении компании по распространению новых изданий.

С этой целью была выделена контрольная группа продавцов, не имеющих опыта работы. Вторая группа имела стаж работы 1-3 года. Третью группу составляли работники со стажем более 3-х лет.

Чтобы обеспечить по всем трем вариантам выровненные условия, были сформированы пять групп, приблизительно равноценных по показателям. Каждая группа включала 3 человека. Результаты работы приведены в таблице 6.

Таблица 6 - Количество проданной научной литературы, шт. (в среднем за месяц).

Варианты опыта	Повторности					Суммы	Средние
	1	2	3	4	5
I группа (контр.)	347	331	335	333	327	1673	335
II группа	373	379	366	345	349	1812	362
III группа	395	383	388	357	362	1885	377
Суммы	1115	1093	1089	1035	1038	5370	358
Средние	372	364	363	345	346	358	Х

Проведение исследования таково, что наблюдения в каждом варианте связаны общностью условий, т.е. распределение повторностей в группах неслучайное. Порядок построения опыта делает необходимым исключение из общей суммы квадратов отклонений вариации, определяемой стажем, повторностями и остаточной вариацией:

.

Требуется статистически оценить результаты исследований в целом и попарно сравнить средние по стажу. Уровень вероятности суждения 0,05.

Решение.

1. Выдвинем гипотезу, что различия в средних стажа работы случайны, и рассчитаем показатели, необходимые для заключения выдвинутой гипотезы.

2. Данные таблицы 6 для удобства вычислений целесообразно уменьшить на постоянную величину (А), близкую к значению средней. Результаты занесем в таблицу 7.

Таблица 7 - Отклонения от условного начала у = х – А, А = 350

Вариант опыта	Повторности					Сумма
	1	2	3	4	5
I группа (контр.)	-3	-19	-15	-17	-23	-77
II группа	23	29	16	-5	-1	62
III группа	45	33	38	7	12	135
Суммы	65	43	39	-15	-12	120 =

Проверим правильность вычислений:

,

где N = 15 – общее число наблюдений (N = k · n = 3 · 5 = 15),

k - число вариантов,

n – число наблюдений в каждом варианте.

.

3. Все отклонения от условного начала, суммы по столбцам и строкам возведем в квадрат (табл. 8).

Таблица 8 - Таблица квадратов.

Вариант опыта	Повторности					Сумма квадратов	Квадрат суммы
	1	2	3	4	5
I группа (контр.)	9	361	225	289	529	1413	5929
II группа	529	841	256	25	1	1652	3844
III группа	2025	1089	1444	49	144	4751	18225
Сумма квадратов	2563	2291	1925	363	674	7816	27998
Квадрат сумм	4225	1849	1521	225	144	7964	14400

Рассчитаем суммы квадратов отклонений по данным таблицы 8.

Затем определим остаточную сумму квадратов как разность:

.

4. Далее необходимо определить число степеней свободы вариации для каждой суммы квадратов отклонений:

5. Для того, чтобы определить дисперсии, следует разделить суммы квадратов отклонений на соответствующее число степеней свободы. Результаты расчетов занесем в следующую таблицу.

Таблица 9 - Анализ дисперсий.

Источник вариации	Сумма квадратов отклонений	Степень свободы вариации	Дисперсия	Отношение дисперсии
				Fфакт	Fтабл
Стаж	4639,6	2	2319,8	35,6	4,46
Повторности	1694,7	4	423,7	6,5	3,84
Остаточная	521,7	8	65,2	1,0
Общая	6856,0	14	X1

6. Вариацию внутри групп (случайную вариацию) определяет , равная 65,2, ее и принимают за базу сравнения.

Определим фактическое отношение дисперсий:

Проведенные расчеты показывают, что дисперсии стажа и повторностей значительно превышают остаточную дисперсию.

7. Воспользуемся приложением А и определим F_табл при уровне вероятности суждения 5% (0,05). Значение F_табл находим на пересечении столбца и строки (соответствующих степеням свободы). Например:

Таким образом, для оценки отношения F_табл = 4,46, а для оценки отношения .

Фактические отношения дисперсий (35,6 и 6,5) значительно превышают пределы возможных случайных колебаний (4,46 и 3,84), поэтому следует отказаться от гипотезы, что различия в средних стажа работы несущественны.

8. Проведенный дисперсионный анализ выявил существенность различий между средними в целом. Приступим к оценке существенности разностей между каждой парой средних. Для этого необходимо вычислить среднюю ошибку разности средних:

шт. за месяц;

шт. за месяц.

9. Обратимся к приложению Б Значение критерия t-Стьюдента.

При вероятности 0,05 и 8 степенях свободы вариации значение нормированного t равно 2,3060≈2,31. Тогда предельная ошибка составит:

штук.

Мы определили величину возможных случайных колебаний при заданном уровне вероятности. Сопоставим разность объема проданной литературы, соответствующей стажу работы и размер предельной ошибки. Если разность превышает предельную ошибку, то ее принято считать существенной.

Возможны следующие сопоставления:

Полученные результаты превышают по абсолютной величине предельную ошибку. Это позволяет нам заключить, что они существенны.