Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Технологии обработки данных курс лекций.doc
Скачиваний:
3
Добавлен:
01.03.2025
Размер:
2.98 Mб
Скачать

Предпосылки кра

1. Модели ограничивают классом линейных вида:

коэффициенты регрессор случайная помеха

Здесь - случайная величина, поэтому тоже случайная величина с тем же распределением.

2. Математическое ожидание , для всех строк матрицы наблюдений.

3. Значения случайной величины не коррелированны и имеют одинаковые дисперсии. Это условие однородности наблюдений.

4. Случайная величина имеет нормальное распределение.

5. Матрица регрессоров не является случайной

Элементы этой матрицы - неслучайные числа точно заданные исследователем.

6. На значение коэффициентов не накладывается никаких ограничений.

7. Ранг матрицы F равен числу коэффициентов модели

Если нарушена хотя бы одна из предпосылок, то процедура не является классическим регрессионным анализом. Нарушение предположений о нормальности наблюдений

Является наиболее сложным для выработки компенсирующих действий.

Весь регрессионный анализ и планирование эксперимента основаны на предположении, что наблюдения распределены в соответствии с нормальным законом ,

Где

Характерной особенностью этого распределения является то, что преобладающая часть наблюдений (99,73%) сосредоточена в определенном интервале . Хвосты нормального распределения короткие. Однако в реальных распределениях грубые ошибки не столь редкие события. Чаще всего реальные измерения распределены по закону «с длинными хвостами».

Модель такого распределения может быть сконструирована из нормального распределения следующим образом:

– степень загрязнения нормальной совокупности грубыми ошибками.

Если <0,05 – то распределение почти нормальное.

Если - распределение «с длинными хвостами»

Обычно в качестве индикаторов, показывающих степень отличия распределения данной случайной величины y от нормального используют коэффициент ассиметрии и эксцесс.

Если – то распределение скошено вправо

Если – то распределение скошено влево

Если – то считается, что в распределении есть «длинные хвосты»

Нарушение нормальности порождает две группы проблем:

  1. проблема устойчивости классического анализа к нарушениям нормальности.

  2. модификация процедуры классического анализа с учетом отклонения от нормальности и разработка свободных от распределения методов.

Неустойчивость мнк

Хотя при нарушении нормальности МНК-оценки остаются оценками минимальными дисперсиями, они оказываются малоэффективными при распределении «с длинными хвостами». Исследование оценки

к нарушению нормальности показали, что её эффективность падает от 1 до 0,956. Для от 1 до 0,808. Эффективная (наилучшая) оценка - это несмещённая оценка с равномерно минимальной дисперсией.

О казалось, что отклонение от нормальности приводит для оценок коэффициентов регрессии к более сильно выраженным неблагоприятным эффектам. Всего одна грубая ошибка в наблюдении может существенно исказить результаты регрессионного анализа.

В многомерном случае выявление и устранение грубых ошибок не может быть проведено МНК оценками. В некоторой степени чувствительность МНК-оценок к грубым ошибкам, как и чувствительность значений, предсказываемых по уравнению регрессии, зависит от матрицы модели, т.е. от плана эксперимента.

Пусть, например, наблюдение с ошибками представлено в следующем виде: ,

где - вектор, l - й элемент которого равен - грубая ошибка.

Тогда оценку для коэффициентов модели можно представить как

; изменение в оценках предсказанных значениях из-за грубой ошибки . Здесь ; ; dl - l-й столбец матрицы ; ml - l-й столбец матрицы

Так как матрицы X в процессе наблюдений не меняются, они зависят от типа предполагаемой модели, то получается, что изменения в оценках пропорциональны грубой ошибки наблюдений.