Учебное пособие по ТВ и МС

Из (12.8) можно получить условия для проверки значимости (в смысле отличия от нуля) оценок коэффициентов регрессии. Действительно, учитывая, что при выполнении гипотезы H0 теоретические коэффициенты регрессии β0=β1=0, получим соотношения для критических статистик

Эти статистики при справедливости H0 имеют распределение Стьюдента с числом степеней свободы l = n–2. Отсюда условиями, при которых оценки b0, b1 будут значимыми с надежностью 1−α, являются:

Доверительные области для зависимой переменной.

Одной из центральных задач регрессионного анализа является прогнозирование значений зависимой переменной при определенных значениях объясняющих переменных. Здесь возможны два варианта:

1.Предсказать условное математическое ожидание зависимой переменной при определенных значениях объясняющих переменных (предсказание среднего значения).

2.Предсказать некоторое конкретное значение зависимой переменной

(предсказание конкретного значения).

Построим вначале доверительную область для условного математического ожидания зависимой переменной (для модели регрессии M[Y/X=xp] = β0+β1xp).

192

Пусть построено уравнение регрессии y(xi ) = b0 + b1 xi на основе которого необходимо предсказать условное математическое ожидание M[Y/X=xp] = β0+β1xp переменной Y при X=xp.

Возникает вопрос: как сильно может уклониться значение y(xp ) от

M[Y/X=xp]. На основе предпосылок 10−50 регрессионного анализа, можно показать, что статистика

имеет t−распределение Стьюдента с n−2 степенями свободы, и построить доверительную область для условного математического ожидания M[Y/X=xp]:

Рис. 12.2.

Получим теперь доверительную область для конкретных значений

зависимой переменной (для уравнения регрессии y p = b0 + b1 xp ).

193

Построенная доверительная область для Mx[Y] определяет местоположение модельной линии регрессии (условного математического ожидания), а не отдельных возможных значений зависимой переменной, которые отклоняются

от среднего x .

Оценка дисперсии индивидуальных значений y p = b0 + b1 xp при x=xp равна

Доверительная область (12.11) определяет границы, за пределами которых могут оказаться не более 100α% точек независимой переменной при X=xp. Он шире доверительной области (12.10) для условного математического ожидания

Mx[Y].

Анализ построенных доверительных областей (12.10), (12.11) позволяет сделать следующие выводы:

1. Прогноз значений (определение неизвестных значений) зависимой переменной Y по уравнению регрессии оправдан, если значение xp

объясняющей переменной X не выходит за диапазон ее значений по выборке,

т.е. xmin < xp < xmax . Причем, чем ближе xp к x , тем уже доверительный интервал (точнее прогноз).

2. Использование регрессионной модели вне обследованного диапазона значений объясняющей переменной (даже если оно оправдано, исходя из смысла решаемой задачи) может привести к значительным погрешностям.

Пример 12.2. Для данных из примера 12.1 построить доверительные интервалы для коэффициентов регрессии для уровня значимости α=0,05 и оценить их значимость.

Решение. Определим вначале

Отсюда стандартные ошибки коэффициентов регрессии:

194

= 0,0386,

sb0 = x2 sb1 = 15884,75 0,0386 = 4,8644 .

Далее найдем tα (n − 2) = t0,05 (12 − 2) = t0,025 (10) = 2,634 .

Отсюда доверительные интервалы для параметров β0, β1 при надежности оценки 1−α = 95% равны:

−9,387 < β0 < 16,233 и 0,834 < β1 < 1,038.

Т.к. 0 входит в доверительную область для коэффициента β0, то он является статистически не значимым.

Проверим теперь значимость коэффициентов регрессии:

12.2.4. Оценка значимости уравнения регрессии

Проверить значимость уравнения регрессии – значит, установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных для описания зависимой переменной.

Проверка значимости уравнения регрессии производится на основе дисперсионного анализа.

Для оценки значимости в предположении нормальной однофакторной модели регрессии вида ϕ(x) = b0 + b1 x + b2 x2 +K проверяется гипотеза о

равенстве коэффициентов b0, b1, … нулю, H0: b0 = b1 = … = 0, что эквивалентно гипотезе о равенстве нулю индекса корреляции, H0: Ryx = 0. Для проверки нулевой гипотезы используется основное тождество дисперсионного анализа

(10.2) о разбиении суммы квадратов на слагаемые.

Общая сумма квадратов отклонений отклика (зависимой переменной)

n

Q = ∑( yi − y)2 относительно его среднего значения y разлагается на сумму

i=1

Qмод, характеризующую влияние фактора X, т.е. обусловленную регрессионной моделью ϕ(x) и остаточную сумму квадратов Qост, характеризующую влияние

195

неучтенных факторов, т.е. обусловленную случайными ошибками относительно модели регрессии. Формальный вид разложения для однофакторной модели:

Очевидно, чем меньше влияние неучтенных факторов, тем лучше модель соответствует экспериментальным данным, т.к. вариация отклика Y в основном

с числом степеней свободы (l−1, n−l), где l − число коэффициентов модели (число связей). Таким образом, критерий Фишера (12.13) вычисляется как частное от деления среднего квадрата, обусловленного моделью регрессии, на средний квадрат ошибки относительно модели. По величине F−отношения проверяется гипотеза H0. Когда коэффициенты bj отличны от нуля, F−отношение имеет тенденцию к возрастанию. При F > Fα (l −1,n −l) , значения

коэффициентов b0, b1, … отличаются от нуля и регрессионная зависимость значима на уровне значимости α.

Дисперсионный анализ для многофакторной регрессионной модели y = ϕ(x1, x2 ,K) проводится аналогично.

Еще одним показателем качества модели является коэффициент детерминации

показывающий, какая часть (доля) вариации зависимой переменной обусловлена вариацией объясняющих переменных. По сути, он является мерой качества регрессионной модели, характеристикой ее прогностической силы.

Чем ближе R2 к 1, тем лучше подобранная модель описывает анализируемую зависимость, тем выше ее информационная способность. Если R2 = 1, то эмпирические точки (xi, yi) лежат на линии регрессии и между переменными Y и X существует функциональная зависимость. Если R2 = 0, то

196

вариация зависимой переменной полностью обусловлена воздействием неучтенных в модели переменных, и линия регрессии параллельна оси абсцисс.

Замечание 12.2. Коэффициент R2 имеет смысл рассматривать только при наличии в уравнении регрессии свободного члена b0, т.к. в противном случае не будет выполняться равенство (12.12), а, следовательно, и (12.14).

Если известен коэффициент детерминации, то критерий значимости (12.13) уравнения регрессии (или самого коэффициента R2) примет вид:

Предложение 12.2. В случае парной линейной регрессионной модели коэффициент детерминации равен квадрату коэффициента корреляции, R2 = r2 .

Доказательство. Действительно, учитывая (12.6), (12.7), имеем

Пример 12.3. Для данных из примера 12.1 оценить значимость уравнения регрессии для уровня значимости α=0,05. Спрогнозировать потребление при доходе xp = 160 у.е. и построить доверительный интервал для прогноза.

Решение. Определим согласно (12.13) расчетное значение F−отношения:

= 588,22.

Критический уровень равен

Fα (l −1, n − l) = F0,05 (2 −1,12 − 2) = F0,05 (1,10) = 4,965 .

Т.к. 588,22>4,965, то полученное уравнение регрессии значимо для α=0,05. Для прогнозирования подставим интересуемое нас значение объясняющей

переменной в найденное уравнение регрессии:

197

В результате, доверительный интервал для прогнозов индивидуальных

значений y p при xp = 160 равен: 142,48 < y p < 163,92.

Видим, что, как и следовало ожидать, доверительный интервал получился слишком большим для достоверных прогнозов.

Упражнение 12.1. Проводится анализ взаимосвязи количества населения (X) и количества практикующих врачей (Y).

Существенно ли отличаются от нуля найденные коэффициенты? Проверьте значимость полученного уравнения при α=0,01.

Если количество населения в 1995 году составит 11,5 млн. чел., каково ожидаемое количество врачей? Рассчитайте 99%-й доверительный интервал для данного прогноза.

Рассчитайте коэффициент детерминации.

12.3. Общий случай регрессии

Выше мы рассмотрели парную линейную регрессию. Это самый простой частный случай. В общем случае задача регрессии может быть:

-множественной линейной при выборе многофакторной линейной модели

зависимой переменной Y от нескольких объясняющих переменных

X= ( X1 ,K, X p ) ;

-нелинейной, если рассматривается одноили многофакторная нелинейная регрессионная модель.

198

12.3.1. Множественный линейный регрессионный анализ

Рассмотрим случай несгруппированных данных. Обозначим i-е наблюдение зависимой переменной yi, а объясняющих переменных xi1, xi2, …, xip. Тогда модель множественной линейной регрессии можно представить в

− матрица значений объясняющих переменных размера n×(p+1). Тогда в матричной форме модель (12.15) примет вид:

Оценкой модели (12.16) по выборке данных является уравнение

Y = Xb+e,

где b = (b0 ,b1,K,bp )T , e = (e1, e2 ,K, en )T .

Для оценки вектора неизвестных параметров β применим МНК. Условие минимизации остаточной суммы квадратов запишем в виде:

Учитывая, что транспонирование произведения матриц равносильно произведению транспонированных матриц, т.е. (Xb)T = bTXT, получим:

(Y − Xb)T (Y − Xb) = YT Y − 2bT XT Y + bT XT Xb .

199

Произведение YTXb есть матрица размера 1 1, т.е. скалярная величина, следовательно, оно не меняется при транспонировании: YTXb = (YTXb)T = bTXTY. Поэтому условие минимизации (12.17) примет вид:

Qост = YT Y − 2bT XT Y + bT XT Xb → min .

На основании необходимого условия экстремума функции нескольких переменных Qост = Qост(b0 ,b1,K,bp ) , представляющей (12.17), необходимо

приравнять нулю частные производные по этим переменным или в матричной форме – вектор частных производных

Предложение 12.3. Для вектора частных производных справедливы следующие формулы:

где b и c – вектор-столбцы, A – симметрическая матрица (симметричные относительно главной диагонали элементы равны). #

Поэтому, полагая c=XTY, A=XTX, запишем (12.18) в виде

∂Qост = −2XT YT + 2XT Xb = 0 ,

∂b

откуда получаем систему нормальных уравнений в матричной форме для определения вектора b:

Найдем матрицы, входящие в систему (12.19):

200