Lektsia_06_new_MS_end

или, что то же самое,

(β) = δT δ =(Y −Fβ)T (Y −Fβ) → min ,

где δ =(δ1, …, δn ) – вектор невязок.

Необходимым условием экстремума функции (β) переменных

β0, β1, …, βm−1 (а, следовательно, и условием существования МНК-оценки

параметра β ), как известно, является равенство нулю ее частных производных, т.е.

Из геометрических соображений очевидно, что решением системы (6.8) является точка минимума функции (β) , в чем можно убедиться непосред-

ственно, воспользовавшись достаточным условием экстремума. Систему линейных алгебраических уравнений (6.8) называют системой нормальных

11

уравнений Гаусса. Она всегда имеет решение (хотя не всегда единственное).

Пусть матрица FT F имеет обратную матрицу (FT F)−1 (для этого необходимо и достаточно, чтобы Rg F был равен числу столбцов матрицы F ).

Тогда, умножая обе части равенства (6.8) слева на матрицу FT F−1 , приходим к формуле (6.7), которая дает единственное решение системы (6.8).

Если матрица FT F не имеет обратной (случай, когда ранг матрицы F меньше числа m ее столбцов), то МНК-оценка параметра β существует, но не является единственной.

Несмещенность оценки βˆ(Yn ) , заданной равенством (6.7), и эффектив-

ность в классе всех линейных несмещенных оценок непосредственно следуют из исходных предположений для метода наименьших квадратов. Действительно,

Mβˆ(Yn ) = M((FT F)−1FTY ) =(FT F)−1FTMY =(FT F)−1FFT β = β ,

т.е. βˆ(Yn ) – несмещенная оценка для β . Докажем ее эффективность. Пусть LY – произвольная линейная несмещенная оценка для β . Тогда

из равенства

M(LY ) = LMY = LFβ = β

получаем LF = In и

D(LY ) = M(LY −LMY )2 = ML(Y −MY )2 LT = LDYLT = Lσ2InLT = σ2LLT .

Наша задача минимизировать диагональные элементы матрицы LLT , которые с точностью до множителя σ2 являются дисперсиями оценок параметров βk , k = 0, m −1 . Для этого рассмотрим равенство

LLT =(M −1FT )(M −1FT )T +(L −M −1FT )(L −M −1FT )T ,

в справедливости которого можно убедиться непосредственно, перемножив матрицы в правой его части с учетом равенств LF = In и M = FT F . По-

скольку диагональные элементы матрицы вида AAT являются неотрицательными, то можно утверждать, что диагональные элементы матрицы LLT

12

будут минимальными, если L = M −1FT , т.е. оценка βˆ(Yn ) является эффек-

тивной в классе всех линейных оценок.

Итак, по теореме 6.1 МНК-оценки являются наилучшими в указанном выше смысле в классе линейных оценок. Тем самым равенство (6.5) определяет наилучшую модель регрессии для выбранных базисных функций и

значений βˆk , k = 0, m −1 , найденных по методу наименьших квадратов, ко-

торую будем записывать (обозначив fˆa (x) = yˆ(x) ) в виде

отклика (условного математического ожидания отклика) в каждой точке x i факторного пространства:

В ряде случаев интерес представляют не сами параметры β0, β1, …, βm−1 в линейной регрессионной модели (6.6), а их некоторые линейные комбина-

13

где βˆ(Yn ) – МНК-оценка для β .

Укажем теперь правило определения ковариационной матрицы Σ(βˆ)

МНК-оценки βˆ(Yn ) вектора параметров β . Это правило будет вытекать как частный случай из следующей теоремы.

Теорема 6.2. Пусть β – m -мерный вектор-столбец линейной регрессионной модели (6.6), A – произвольная матрица типа q ×m , где 1 ≤q ≤m , а

матрица FT F является обратимой (т.е. det(FT F) ≠ 0 ). Тогда для вектора

= A(FT F)−1 FTM(εεT )F(FT F)−1 AT .

(При переходе к правой части мы воспользовались правилом транспониро-

14

вания произведения матриц (AB)T = BT AT и симметричностью матрицы

(FT F)−1 ).

Если теперь учесть, что, согласно исходным предположениям метода наименьших квадратов, M(εT ε) = Inσ2 , то

= ψT (x)M[(βˆ(Yn ) −β)(βˆ(Yn ) −β)T ]ψ(x) = ψT (x)Σ(βˆ)ψ(x) = σ2ψT (x)C ψ(x) .

Формулы (6.14) и (6.15) содержат неизвестный параметр σ2 – дисперсию отклика Y . Поэтому требуется правило определения оценки параметра

σ2 . Такое правило устанавливает следующая теорема. Однако прежде чем формулировать теорему, отметим, что случайную величину

раметров β линейной регрессионной модели (6.6), называют остаточной суммой квадратов.

15

Теорема 6.3. Если выполнены исходные предположения метода наименьших квадратов и ранг матрицы базисных функций F типа n ×m равен

модели (6.6).

Из равенства (6.6) и предположений о случайной составляющей модели следует:

Рассмотрим равенство:

(Y −Fβ)T (Y −Fβ) =[Y −Fβˆ(Yn ) +F(βˆ(Yn ) −β)]T [Y −Fβˆ(Yn ) +F(βˆ(Yn ) −β)] =

=(Y −Fβˆ(Yn ))T (Y −Fβˆ(Yn )) +F(βˆ(Yn ) −β))T F(βˆ(Yn ) −β) +

+(Y −Fβˆ(Yn ))T F(βˆ(Yn ) −β) +(F(βˆ(Yn ) −β))T (Y −Fβˆ(Yn )) .

Поскольку βˆ(Yn ) – МНК-оценка вектора параметров β то, согласно (6.7),

βˆ(Yn ) =(FT F)−1FTY , и, как следствие, имеем

(F(βˆ(Yn ) −β))T (Y −Fβˆ(Yn )) =(βˆ(Yn ) −β))T FT (Y −F(FT F)−1FTY ) = =(βˆ(Yn ) −β)T (FTY −FT F(FT F)−1FTY ) = 0

и, кроме того,

Воспользовавшись свойствами следа матриц и следствием 6.1, получим:

16

M[F(βˆ(Yn ) −β))T F(βˆ(Yn ) −β)] = M[(βˆ(Yn ) −β)T (FT F)(βˆ(Yn ) −β)] =

= M[tr((FT F)(βˆ(Yn ) −β)(βˆ(Yn ) −β)T ] = tr((FT F)M[(βˆ(Yn ) −β)(βˆ(Yn ) −β)T ]) = = tr[(FT F) ∑(βˆ(Yn ))] = tr[(FT F)(FT F)−1 σ2 ] = σ2 tr Im = mσ2 .

Таким образом, согласно (6.17) – (6.19), имеем

nσ2 −mσ2 = M[(Y −Fβˆ(Yn ))T (Y −Fβˆ(Yn ))] ,

откуда

σ2 = n −1 m M[(Y −Fβˆ(Yn ))T (Y −Fβˆ(Yn ))] .

Следовательно,

S2 = n −1 m (Y −Fβˆ(Yn ))T (Y −Fβˆ(Yn ))

является несмещенной оценкой для σ2 .

6.03. Статистический анализ регрессионной модели

Статистический анализ модели регрессии (6.9), построенной на основе параметризации искомой функции регрессии f(x) в виде (6.2) и на основе МНК-оценок параметров, состоит из следующих трех этапов:

–проверка адекватности модели регрессии;

–проверка значимости модели регрессии и ее параметров;

–анализ точности результатов, полученных с использованием регрессионной модели.

Для проведения статистического анализа требуется дополнить исходные предположения метода наименьших квадратов еще одним. Будем счи-

тать, что случайные ошибки εi , i = 1, n , в модели (6.3) не только независи-

мы, но и распределены по нормальному закону: εi N(0, σ2 ) , i = 1, n , т.е.

случайная составляющая ε =(ε1, ..., εn )T линейной регрессионной модели (6.6) имеет n -мерный нормальный закон распределения с нулевым средним значением и ковариационной матрицей σ2In .

Это предположение в силу (6.3) эквивалентно тому, что наблюдения Yi ,

17

i = 1, n , являются независимыми нормально распределенными случайными величинами, т.е.:

где

m−1

fa (x i ) = ∑βk ψk (x i ) , i = 1, n . k=0

Проверку рассматриваемого предположения проводят на основе статистического анализа случайных величин

значения которых представляют собой отклонения наблюдаемых значений yi отклика Y от его значений, предсказанных моделью регрессии

m−1

yˆ(x i ) = ∑βˆiψk (x i ) .

k=0

Таким образом, все сводится к проверке статистической гипотезы о вы-

полнении исходных предположений: случайные величины εi , i =1, n , явля-

ются независимыми и εi N(0, σ2 ) , i =1,n . Критерии проверки указанных гипотез рассмотрены в теме 5.

Следует отметить, что, когда каждая случайная величина εi имеет единственную реализацию (нет повторных наблюдений), мы не можем про-

верить гипотезу о независимости случайных величин εi , i =1, n . Однако,

если у исследователя есть основания считать, что случайные величины εi ,

i =1, n , независимы и одинаково распределены, можно ограничиться про-

веркой гипотезы о том, что εˆi , i = 1, n , – реализация случайной величины εi ,

распределенной по нормальному закону.

Считая, что исходные предположения метода наименьших квадратов выполнены, перейдем к рассмотрению этапов статистического анализа регрессионной модели.

Проверка адекватности построенной модели регрессии. Линейную регрессионную модель называют адекватной, если предсказанные по ней значения отклика Y согласуются с результатами наблюдений.

18

В основе процедуры проверки адекватности модели лежат предположе-

ния, что случайные ошибки наблюдений εi , i = 1, n , являются независимыми, нормально распределенными случайными величинами с нулевыми средними значениями и одинаковыми дисперсиями σ2 .

Пусть для каждого или некоторых значений переменного x =(x1, ..., xp )

имеется несколько ( ri , i =1, n ) повторных наблюдений отклика Y (т.е. ис-

ходные данные представлены матрицей D – см. п. 6.1). Тогда для проверки адекватности модели можно использовать следующую процедуру.

Итак, повторные наблюдения получены при различных значениях

Если линейная регрессионная модель адекватна, то значения yi долж-

ны быть близки к значениям yˆi = yˆ(x i ) , i =1, n . Следовательно, сумму квадратов

n

Qn = ∑ri (yi −yˆ(x i ))2

i=1

можно рассматривать как меру неадекватности рассматриваемой модели. Можно показать, что статистики

n

распределение χ2 с числом степеней свободы ∑(ri −1) , а отношение

i=1

19

Q (Y )

Sy2(YN ) = n p N

∑(ri −1)

i=1

является несмещенной оценкой остаточной дисперсии. Эта статистика не связана с ошибкой в выборе модели. Статистика Qnσ(Y2 N ) имеет распределе-

ние χ2 c числом степеней свободы n −m , если гипотеза H0 : MY = Fβ верна (здесь m – число неизвестных параметров в модели (6.2)). При этом

Поэтому проверка гипотезы H0 осуществляется стандартным образом по критерию Фишера.

Если выборочное значение Fíàáë. cтатистики F не превышает критического Fêðèò. , т.е.

Fíàáë. ≤Fêðèò. = f1−α, rn , rp ,

то гипотезу H0 принимают (точнее, не отклоняют) на уровне значимости α,

т.е. модель признается адекватной.

В противном случае модель признается неадекватной и нужно пытаться построить более сложную модель, увеличив, например, число базисных функций или выбрав другие базисные функции.

Проверка значимости параметров модели регрессии. Напомним, что регрессионную модель мы выбрали в виде (6.3), т.е. неизвестную функцию регрессии f (x) ищем в виде