- •Многомерные статистические методы (для специальности 06.18.00 «Математические методы в экономике»)
- •Содержание
- •9.Методы многомерного анализа 26
- •1.О статистических методах в экономике
- •2.Статистические методы
- •3. Многомерные статистические методы: свойства недетерминированных объектов
- •4.Методы многомерного анализа
- •Дисперсионный анализ;
- •Регрессионный анализ;
- •5.Система случайных величин
- •6.Многомерный нормальный закон распределения
- •7.Статистические выводы и оценивание
- •7.Критерии оценивания в больших выборках
- •8.Метод наименьших квадратов
- •9.Методы многомерного анализа
- •10.Дисперсионный анализ
- •11.Статистическая обработка результатов дисперсионного анализа
- •12.Основная схема дисперсионного анализа
- •13.Применение мнк для дисперсионного анализа
- •14.Планы дисперсионного анализа для изучения источников рассеивания
- •15.Дисперсионный анализ при многосторонней классификации
- •16.Планы многоступенчатой классификации
- •17. Регрессионный анализ
- •18.Задача идентификации в регрессионном анализе
- •19.Оценка результатов регрессионного анализа
- •20.Проверка воспроизводимости
- •21.Проверка значимости
- •22.Проверка адекватности
- •23.Метод гребневой регрессии в регрессионном анализе
- •24.Метод главных компонент
- •25.Факторный анализ
- •26.Корреляционный анализ
- •27.Планирование эксперимента в задачах идентификации
- •28.Общие критерии оптимальности планов эксперимента
- •29.Ортогональный план эксперимента
- •30.Построение матрицы планирования полного факторного эксперимента
- •31.Дробный факторный эксперимент
- •32.Анализ подбираемых моделей при ортогональном планировании
12.Основная схема дисперсионного анализа
Благодаря тому, что существует тождество степеней свободы и основное тождество ДА, для проверки основной статистической гипотезы ( ) сравниваются только две дисперсии .
Таблица основной схемы ДА
Источник рассеивания |
Число степеней свободы |
Сумма квадратов |
Среднее квадратическое |
1.между уровнями |
K-1 |
|
|
2.остаточное рассеивание |
N-K |
|
|
3.общее рассеивание |
N-1 |
|
|
Схема ДА:
найти ;
найти Fрасч.;
сравнить Fрасч. и Fкрит.:
если Fрасч. < Fкрит., то исследуют гипотезу , если нет – гипотезу .
Если выполняется соотношение Fрасч. < Fкрит., то говорят: «Гипотеза о том, что уровни фактора влияют на результат наблюдения, верна с доверительной вероятностью ».
Управлять результатами ДА можно, меняя количество наблюдений, число уровней классификации, доверительную вероятность. Это за пределами математической статистики, т.к. является неформальным этапом. Эта идея справедлива для всех планов ДА.
Существуют различные схемы классификации или планы ДА. Они могут быть многофакторными, различными блочными схемами. Все они имеют одну теоретическую основу – разложение суммы квадратов на составляющие. Однако для сложных планов получить дисперсионное тождество бывает непросто. Схему разложения суммы квадратов во многих случаях можно получить, применяя МНК для линейной модели ДА.
13.Применение мнк для дисперсионного анализа
Общая линейная модель ДА может быть получена ведением индикаторных переменных, которые принимают значения 0 или 1 и позволяют удобно структурировать результаты наблюдения и представить их в виде линейной модели следующего вида:
- результат наблюдения;
- оцениваемый параметр;
- индикаторная переменная;
- ошибка наблюдения.
= 1, для столбца, где есть y, =0, для другого случая.
X – детерминированная матрица индикаторных переменных.
Для каждого уровня фактора верно:
Оценка каждого является средним по уровням (оценка состоятельная, несмещенная и эффективная) и получена по МНК.
Общая сумма квадратов определяется из выражения:
Получили тождество, характеризующее разложение общего рассеивания на сумму квадратов рассеиваний по уровням и остаточного. Такое тождество справедливо для проверки следующей гипотезы:
, т.е математические ожидания наблюдений по уровням равны нулю.
На практике такой результат мало интересен, поэтому требуется проверка другой гипотезы:
- средняя оценка по всей совокупности наблюдения.
Вычтем из правой и левой частей тождества . В результате такого вычитания получается основное тождество ДА, т.к. выполняется соотношение:
Таким образом, основное тождество ДА может быть получено исходя из МНК. Следовательно, обработку данных можно вести методами регрессионного анализа.
14.Планы дисперсионного анализа для изучения источников рассеивания
Метод Да позволяет во всех случаях разложить общее рассеивание изучаемой характеристики на составляющие, обусловленные случайной ошибкой и действием других факторов, которые являются источниками неоднородности.
Однофакторный ДА без ограничений на рандомизацию
Эксперимент, в котором известно, что рассеивание вызвано одним фактором, может планироваться как однофакторный ДА, но при условии, что все мешающие факторы делаются случайными.
Рассмотрим приём рандомизации на примере зависимости зарплаты от численности работников. Мешающие факторы - форма собственности. Чтобы исключить этот фактор, необходимо имперические опытные данные, характеризующие среднюю зарплату, брать в совокупность наблюдений уровня случайным образом из различных форм собственности.
Для рандомизации используются табличные данные или датчик случайных чисел ЭВМ. При таком эксперименте исследуется влияние одной группы факторов .
Блочные рандомизированные планы ДА
Если в эксперимент случайным образом вводить мешающие факторы, может увеличиться дисперсия ошибки. На её фоне даже при увеличении объема данных эффект выделить не удастся. Статистику рационально увеличивать для однородных экспериментов.
Наиболее простым способом преодоления этой трудности является введение рандомизации в виде блоков эксперимента и планирование эксперимента как блочного с одним ограничением на рандомизацию.
В рассматриваемом примере качестве блоков можно выбрать, например, период наблюдения в годах или один год. Тогда каждому блоку будет присваиваться год наблюдения; данные блоки будут рандомизированы по видам собственности, а уровни сохранятся, как и в прежней задаче. Таблица ДА в блочном эксперименте будет иметь следующий вид:
Уровни Блоки |
1 |
2 |
... |
j |
... |
k |
|
1 |
|
|
... |
|
... |
|
|
2 |
|
|
... |
|
... |
|
|
... |
... |
... |
... |
... |
... |
... |
... |
i |
|
|
... |
|
... |
|
|
... |
... |
... |
... |
... |
... |
... |
... |
n |
|
|
... |
|
... |
|
|
|
|
|
... |
|
... |
|
|
Модель наблюдения в блочной схеме имеет следующий вид:
- эффект блоков.
Для такой модели справедливо следующее основное уравнение и тождество степеней свободы ДА:
Проверяются следующие гипотезы:
Для проверки используется критерий Фишера:
Дальнейшее изменение ошибки может быть сделано путем добавления ещё одного ограничения на рандомизацию. В этом случае эксперимент предполагается планировать по принципу латинских квадратов.
Латинский квадрат (старая латинская задача):
А Б С Д А Б С
Б С Д А Б С А
С Д А Б
Д А Б С
Кроме латинских квадратов известен метод Греко-латинских квадратов:
Эффект рандомизации вводится случайной перестройкой строк и столбцов Греко-латинского квадрата. Таким образом, применение схемы латинских квадратов в организации эксперимента позволяет сохранить структурную матрицу ДА такой же, как и в прошлом примере с блоками.
|
1 |
2 |
3 |
|
I |
|
|
|
|
II |
|
|
|
|
III |
|
|
|
|
|
|
|
|
|
Доказано, что данной модели соответствует выражение:
Вводятся статистические гипотезы. Для выделения значительности эффекта по буквам рекомендуется строить оценку . Тогда интервальной оценкой является величина:
Гипотезы проверяются по критерию Фишера.