Lektsia_06_new_MS_end

где некоторые из базисных функций ψk (x) могли быть включены в модель регрессии ошибочно, т.е. на самом деле отклик Y от этих ψk (x) не зависит и потому соответствующие коэффициенты βk должны быть равны нулю. Однако может оказаться, что полученные по формуле (6.7) значения МНК-оценок βˆk отличны от нуля, хотя обычно к нулю и близки.

Проверка значимости коэффициента βk означает проверку гипотезы

H0 : βk = 0 против альтернативной статистической гипотезы H1 : βk ≠ 0 . Ко-

эффициент βk считают значимым, если верна гипотеза H1 .

В общем случае могут возникать более сложные гипотезы, например гипотеза H0 : β1 = −β2 = β , означающая, что β1 +β2 = 0 . Такая гипотеза уме-

стна, когда есть подозрение, что действует не каждый из факторов X1 и X2

по отдельности, а только их разность, т.е. вместо комбинации β1X1 +β2X2 в

модель нужно включить выражение β(X1 −X2 ) .

Статистические гипотезы, которые включают утверждение о линейной комбинации параметров βj , j = 0, m −1 , называют линейными гипотезами.

Они обычно вытекают из знаний экспериментатора или его предположений относительно возможных моделей. Под проверкой значимости параметров модели регрессии в этом случае понимают проверку всех возможных линейных гипотез.

Мы ограничимся здесь проверкой линейных гипотез двух типов:

1) гипотезы H0 : β0 = β1 =... = βm−1 = 0 против альтернативной гипотезы

H1 , согласно которой βk ≠ 0 хотя бы для одного номера k , k = 0, m −1 ;

2) гипотезы H0k : βk = 0 против альтернативной гипотезы H1k : βk ≠ 0 ,

рассматриваемых для некоторого фиксированного номера k , k = 0,m −1 . Если гипотеза верна, то модель регрессии называют незначимой, т.е.

условное математическое ожидание отклика M(Y | x) = y(x) = β0 постоянно и

21

не меняется с изменением x . В противном случае модель регрессии назы-

вают значимой.

Гипотезы второго типа связаны с анализом конкретного коэффициента βk . Если гипотеза H0k принимается, то коэффициент βk незначим и может

быть удален из модели.

Рассмотрим критерий проверки гипотез первого типа. Исходя из пред-

случайными величинами. Здесь Y – матрица отклика линейной регресси-

F = Qf (Yn ) n −m F(m −1, n −m) , m −1 Ql (Yn )

т.е. имеет распределение Фишера со степенями свободы m −1 и n −m .

Статистика Qnl−(Ymn ) является несмещенной оценкой остаточной диспер-

сии (см. теорему 6.3), обусловленной как случайными ошибками измерений значений функции регрессии, так и неучтенными в регрессии факторами;

статистика Qf (Yn ) – несмещенная оценка дисперсии случайных ошибок при m −1

22

использовании функции регрессии (т.е. дисперсии случайных ошибок измерений значений функции регрессии). Поэтому статистика F может быть использована при проверке рассматриваемой гипотезы.

Таким образом, гипотеза H0 : β0 = β1 =…= βm−1 = 0 отклоняется на

уровне значимости α (а следовательно, регрессия признается значимой), если вычисленное значение статистики F :

Полезной характеристикой линейной регрессионной модели является коэффициент детерминации R2 (или квадрат множественного коэффициента корреляции).

Оценка

коэффициента детерминации показывает, какая доля в сумме квадратов от-

оценкой коэффициента корреляции (мерой линейной связи) между случай-

ными величинами и ˆ .

Y Y(x)

Перейдем к проверке линейных гипотез второго типа. Эти гипотезы проверяют после того, как обоснована значимость регрессии. Такая проверка позволяет более детально проанализировать структуру модели регрессии на уровне отдельных коэффициентов. Ясно, что возможна ситуация, когда

вектор параметров β модели регрессии является значимым, в то время как отдельные коэффициенты модели незначимы (и, следовательно, их надо принять равными нулю).

Проверку любой из m гипотез H0k , 0 ≤k ≤m −1 против гипотезы H1k проводят по критерию Стьюдента.

Напомним, что МНК-оценка βˆk (Yn ) параметра βk линейно зависит от матрицы отклика Y . Следовательно, в силу (6.22) эта оценка имеет нормальный закон распределения с математическим ожиданием βk (ибо оценка

23

βk (Yn ) несмещенная) и дисперсией σ2ckk (см. следствие 6.1). Здесь ckk – k -й

диагональный элемент дисперсионной матрицы Фишера C =(FT F)−1 . Поэтому

Z= βk (Yn ) −βk N(0, 1) .

σckk

В то же время

значимости α и признать коэффициент βk значимым.

Проверку значимости коэффициента βk модели регрессии (6.23) можно проводить также с помощью доверительного интервала Jγ(βk ) =(βk (Yn ), βk (Yn )) , значения границ которого в силу (6.25) имеют вид

Гипотеза H0k : βk = 0 принимается, если интервал с границами (6.26)

накрывает нуль, и отклоняется в противном случае. Уровень значимости α связан с доверительной вероятностью γ равенством α =1 −γ .

Анализ точности результатов, полученных с использованием рег-

рессионной модели. Если модель регрессии прошла проверку на значимость, то ее можно использовать для решения различных практических задач. Основными из них являются:

– определение значения отклика Y в той части факторного пространства, где эксперимент не проводился, т.е. либо интерполяция, либо экстрапо-

24

ляция (прогнозирование) отклика;

– определение экстремальных условий протекания процесса, модель которого построена, т.е. отыскание такой точки x =(x1 , …, xp ) в которой yˆ(x) имеет экстремум; эту задачу решают методами математического ана-

лиза.

В обоих случаях с помощью построенной модели

k=0

требуется оценить точность предсказания в рассматриваемой точке

либо среднего значения отклика M(Y|x) = y(x) , либо ожидаемого значения

σψT (x)C ψ(x)

Сдругой стороны, несмещенная оценка дисперсии отклика σ2 , определяемая по формуле (6.17), не зависит от Z и

т.е. имеет распределение χ2 с числом степеней свободы n −m .

26

6.04. Выбор допустимой модели регрессии

Как уже отмечалось выше, при решении задач регрессионного анализа исследователь в первую очередь сталкивается с необходимостью выбора класса F допустимых моделей регрессии. Мы не останавливаемся на этой проблеме и еще раз отметим, что при ее решении, как правило, исследователь исходит из преследуемых целей, собственного опыта, результатов предварительного анализа, имеющегося экспериментального материала и т.д.

Если класс F содержит, например, две допустимые модели регрессии, то возникает проблема выбора наилучшей (в каком-то смысле) допустимой модели регрессии. Обсуждение этой проблемы можно найти в специальной литературе, а мы ограничимся рассмотрением линейной регрессионной модели (см. (6.6)). При этом будем предполагать, что выполнены основные допущения регрессионного анализа: независимость и нормальное распреде-

ление случайных величин εi , i =1, n (см. (6.4)). Пусть имеем две допустимые модели регрессии

где m2 >m1 и объем выборки равен n . Проверим гипотезу

H0 : βm1 = βm1 +1 =…= βm2 −1 = 0

против альтернативной гипотезы

m2 −1

H1 : ∑βk2 ≠ 0 . k=m1

Для проверки гипотезы H0 можно применить статистику:

где Ql1(Yn ) и Ql2(Yn ) – остаточные суммы квадратов соответственно для первой и второй моделей (6.30). Статистика F имеет распределение Фишера с числом степеней свободы n −m1 −m2 и n −m2 .

Гипотезу H0 следует принять на уровне значимости α (принять модель

27

k=0

Рассмотренный критерий называют критерием отношения остаточных дисперсий. Смысл его прозрачен: усложнение допустимой модели регрессии статистически оправдано, если это приводит к значимому (на уровне значимости α) уменьшению значения оценки остаточной дисперсии.