4. Основные свойства точечных оценок. Теорема Гаусса-Маркова для однородной модели.

Точечная оценка – это число, вычисляемое на основе наблюдений, предположительно близкое к оцениваемому параметру.

Точечной оценкой (тета) параметра называется приближенное значение этого параметра, полученное по выборке.

Основные свойства точечных оценок.

1.Несмещенность (оценка называется несмещенной, если её математическое ожидание равно оцениваемому параметру): _{M(a)=α; M(b)=β}. Т.о., если оценить неизвестный параметр по нескольким выборкам, то не будет завышения или занижения оценки относительно истинного значения. Следовательно, если оценка несмещенная, то для повышения точности имеет смысл делать повторные выборки.

Матожидание – сумма произведений значении случайной величины на их вероятность.

2.Состоятельность (оценка называется состоятельной, если с ростом объема выборки она стремится к оцениваемому параметру): _{а→α при n→0 и b→β} при . Т.о., чем больше выборка – тем точнее будет оценка. Следовательно, если оценка состоятельна, то для повышения точности имеет смысл увеличить размер выборки.

3.Эффективность (оценка называется эффективной, если имеет минимальную дисперсию среди всех несмещенных оценок). Т.о., нельзя улучшить точность оценки по единственной выборке, если использовать другой способ оценки. Следовательно, оценка эффективная, то из данной выборки нельзя извлечь больше информации для повышения точности оценки.

(Оценка параметра называется несмещенной, если ее матожидание равно истинному значению параметра в противном случае оценка явл. смещенной.)

Классические условия регрессионного анализа (условия Гаусса-Маркова)

1. Регрессионная модель линейна по параметрам и корректно специфицирована.

Yi=β0+β1Xi1+…+βkXik+εi , i=1

2. Объясняющие переменные Х1,Х2,…,Хк являются детерминированными (Детерминированной называется переменная, которая в результате любого числа испытаний принимается одно и тоже конкретное значение из своего множества возможных значений, например, число этажей в конкретном доме)

Если повторить серию выборочных наблюдений, то значения переменных были бы теми же самыми, а значения переменной Y изменялись бы за счет случайного члена .

3. Случайные возмущения имеют нулевое среднее (или нулевое матожидание)

4. Случайные возмущения имеют постоянную дисперсию, т.е. дисперсия случайного члена постоянна и не зависит от номера наблюдения (модель гомоскедастична. Модель с нарушением этого условия наз гетероскедастичной – дисперсия случайного члена не постоянна и зависит от номера наблюдения)

, где V-дисперсия.

5. Случайные возмущения не коррелируют друг с другом.

.(*)

Ковариационная матрица случайных возмущений явл. диагональной (на главной диагонали стоят дисперсии случайных возмущений для каждого i – число, а все остальные элементы матрицы – ковариации для каждой пары i и j - нули). , где - единичная матрица размера n Автокорреляции нет. Если нарушается условие (*) то модель с автокорреляцией.

(Автокорреляция – корреляционная зависимость между рядом наблюдений и тем же рядом, сдвинутым на несколько шагов во времени)

6. Случайные возмущения распределены нормально.

(необязательное, но часто используемое условие)

Теорема Гаусса-Маркова. Если выполнены условия 1-5, то оценки коэффициентов регрессии, полученные по МНК имеют наименьшую дисперсию среди всех линейных несмещенных оценок. Т.о., оценки параметров регрессии по МНК являются наиболее эффективными.

1. Т.о., оценки параметров по МНК являются несмещенными, состоятельными и эффективными.

2. Несмещенность и состоятельность следуют из самого метода. Из теории следует эффективность.

3.Теорема не означает, что не существует нелинейной или смещенной оценки с меньшей дисперсией.

5. Качество регрессионной модели. Характеристики точности модели. Суммы квадратов. Коэффициент детерминации. Его свойства. Оценка дисперсии случайных отклонений. Стандартные ошибки коэффициентов регрессии.

Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальными данными и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Качество регрессионной модели:

- Точность (степень приближения модели к имеющимся наблюдениям)

- Надежность (стабильность параметров модели при повторных наблюдениях)

Характеристика точности модели:

1. Коэффициент детерминации Величина R² показывает, какая часть (доля) вариации объясняемой переменной обусловлена вариацией объясняющей переменной.

Свойства: а) R^2 принимает значения от 0 до 1 (0≤R²≤1). б) Чем ближе R² к единице, тем лучше регрессия приближает наблюдаемые значения. Если R² =1, означает точную подгонку, что все точки наблюдений лежат на прямой регрессии, значит, между Х и У существует линейная функциональная зависимость. в) Если R² =0, то объясняемая переменная не зависит от данного набора объясняющих переменных. Если R² _{достигает своего наибольшего возможного значения, то одновременно минимизируется сумма квадратов остатков}

_R² _{= 1- ESS/TSS → max ↔ ESS→min}

Недостатком коэффициента детерминации R² является то, что он увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно означает улучшение качества регрессионной модели.

2. Стандартная ошибка , где – необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

Воздействие случайных возмущений в теоретической модели y_i=α + βx₁ + ε_i определяется дисперсией случайных возмущений (отклонений) или остаточной дисперсии σ².

Ее оценкой является выборочная остаточная дисперсия

или стандартная ошибка .

Стандартные ошибки коэффициентов

Оценки коэффициентов регрессии – тоже случайные величины. Их возможный разброс, как обычно, измеряется соответствующей дисперсией, определяемой через σ², а так как она неизвестна, то оценкой дисперсии при подстановке в формулу S² вместо σ². корень из оценки дисперсии – стандартная ошибка.

стандартная ошибка b стандартная ошибка a

Стандартные ошибки характеризуют точность оценок коэффициентов регрессии: чем величина стандартной ошибки меньше, тем точность выше.

Итак, точность выше (ошибка меньше) если

- стандартная ошибка регрессии S _ε (или σ_ε) меньше,

- число наблюдений n больше,

- вариация фактора S _ε (или σ_ε) больше.

3 . Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических. Допустимый предел не более 8-10%.

Качество модели оценивается через сумму квадратов отклонений модели: _ei= y-ŷ → ei²=( y-ŷ)²

_- называется суммой квадратов ошибок. Если все коэффициенты модели, кроме константы , равны нулю, то - среднему значению объясняемой переменной. Тогда сумма квадратов отклонений равна: .

- называется общей суммой квадратов. За счет того, что не все коэффициенты модели равны нулю, сумма квадратов отклонений уменьшается. В соответствии с этим величина означает объясненную сумму квадратов.

Основное соотношение дисперсионного анализа:

TSS = RSS + ESS (это соотношение имеет место, только если в модель включен свободный член а не равный 0)

Схема дисперсионного анализа:

Компоненты дисперсии	Сумма квадратов(SS )	Число степеней свободы (df)	Средний квадрат (MS)
Регрессия	RSS	k	RSS/k
Остаток	ESS	n-k-1	ESS/(n-k-1)
Итого	TSS	n-1	TSS/(n-1)

(Степень свободы - характеристика суммы квадратов (отклонений), показывает, сколько отклонений в сумме квадратов может изменяться "свободно"; обычно обозначается df (degrees of freedom). )