Churakov_Mat_met_obr_exp_dan_v_ekon

Следовательно,

(2.54)

(2.55)

Рассмотрим структуру матрицы Y^, вытекающую из ее опре­ деления:

Wm(Xi) WmiXl) - Wm(Xn)

где \\foix)y \|/i(jc),..., y\fm(x) - компоненты вектора \|г(дс). Тогда из равенства (2.54) следует

где ё/ — /-й компонент вектора е.

Регрессионные модели обычно конструируют таким образом, что компонент ©о вектора регрессионных параметров в имити­ рует «постоянную составляющую» функции регрессии, не зави­ сящую от экзогенных переменных. Для этого обычно полагают \\foix) = 1. Но тогда из (2.57) при к = 0 следует

(2.58)

/=1

Совместное выполнение условий (2.55), (2.58) приводит к тому, ЧТО 8 (/— ys) = О, И выражение (2.53) упрощается:

70

Содержательно этот коэффициент определяет, какая часть ва­ риации экспериментальных данных объясняется разбросом рег­ рессионной (детерминированной) составляющей этих данных. Из определения вытекает К^^ [О, 1], Если К^ = О, то eap{f) = О, те./= Ч'в = 75 => i|f^(jc/)e = y,i=' \,2, ..., А7. А это можно интер­ претировать как независимость эндогенной переменной от экзо­ генных переменных. Если же К^ = 1, то ё = 0^, т.е. регрессионная поверхность проходит точно через все экспериментальные точки j^/ (/ = 1, 2,..., л) в смысле выполнения равенств у^ = V^(JC/) в (/ = 1, 2, ..., п). Разумеется, если положить т -^ I = п и матрицу Те R'^^^ выбрать невырожденной, это условие будет достигнуто, так как МНК-оценка (2.24) в этом случае приобретает вид

е = {^^ЧГ}~^'¥^у = ЧГ^Ч'^У^Ч^^у = Т" V =^4^0 = у.

Однако это условие, вообще говоря, не является признаком хорошо подобранной рефессионной модели, так как такая мо­ дель будет «отслеживать» все случайные составляющие 8 в ре­ зультатах эксперимента >?, а это недопустимо.

Проверка гипотезы HQ: ©i = ©2 = ... = в^;, = 0. Введенный ко­ эффициент детерминации широко используется для подтвержде­ ния (или опровержения) предположения о том, что эндогенная переменная действительно зависит от выбранных экзогенных пе­ ременных. С этой целью в рассмотрение вводятся две гипотезы:

Но:©1=©2 = ... = ©;„ = 0; Hi:©o,©b©2, ...,©^^^0.

В качестве «индикатора» правомочности одной из этих гипо­ тез используется величина

которая с учетом определения коэффициента детерминации пре­ образуется к врщу

Для последующих доказательств это выражение целесообраз­ но представить так:

71

1 ll>^-ye| n-m-\ r?-

Найдем распределение этой величины при справедливости ги­ потезы Но . Прежде всего обратим внимание на знаменатель. Ес­ ли мысленно его умножить и разделить на число п — т — 1, то

величина (п-т-1)—г» ^^^ было уже доказано, будет подчинена

Х^-распределению с л — m — 1 степенями свободы. Следователь-

V

но, знаменатель в (2.61) можно представить как ";—~—г» гдеслу-

we = W(W^W)~^W^y = Ye + W{W^W)~^W^t

и, следовательно.

1|Г(фТ^)-1фТ ^^Т\

п

Если справедлива гипотеза HQ, т.е. ©i = ©2 = ... = ©^ = О, то we = 5©о, так как первый столбец матрицы W состоит из единиц, т.е. представляет собой вектор 5. Но тогда

Докажем теперь важное для последующего вывода утвержде­ ние.

72

Утверждение 2.10. Пусть матрица Y = [\|fo Vi ... Vm]. где \|//€ R^ - столбцы матрицы. Тогда справедливы равенства

Векторы Vo, ¥ь ••• ^Vm являются линейно независимыми, так как rank ^ = т + I < п. Построим подмножество б^"^^с R'^, кото­ рое состоит из векторов z, допускающих разложение по векторам

\|Го, Vi, •-, ¥m как по базису, т.е. G^^^ =\zeR'^:z= Sa,\|f^, а,бК1

и в пространстве R'^ образует линейное (т + 1)-мерное подпрост-

т

ранство. Рассмотрим вектор v e = Е€)/\|//.Из этого разложения

следует ^ в е G^'^^. Величина / = ||у — Тв|р представляет собой квадрат расстояния между векторами у и Ч^В. Тогда величина min/определяет наименьшее расстояние от вектора >? до подпро­ странства С^"^^ т.е. расстояние до такого векторам изб'^^^ кото­ рый является ортогональной проекцией Пр вектора у на множе­ ство СГ^^: Z = Пр^б^^^ С другой стороны, min/ = Цу - Y e f и, следовательно^ Т в = T(T^Y)~^Y^>? = z*. Но отсюда вытекает, что матрица Y(Y Y)~^Y^ является матрицей ортогонального про­ ецирования на подпространство G^ ^ Эта матрица любой век­ тор, принадлежащий множеству 6^"*"^ преобразует в себя, т.е. из условия zeG^"^^ следует Y(^P^Y)~^Y^z = z. Так как \|Го, Vi,..., V,^2 ^ G G^'^^ то равенства (2.63) справедливы. Заметим, что непосред­ ственно это равенство вытекает из тождества T(Y T)~^T^Y = ^. Следствие. Так как вектор s является столбцом матрицы Y, а

именно S = \|Го, то справедливы равенства

Утверждение 2.11. Матрица Y(Y^T)~^Y^-— S5^ является идемпотентной и ее ранг равен т. ^

Доказательство проводится непосредственно:

( Y ( Y ' ^ ^ - ^ Y ^ - ^ SS^)^ = ^f^^fTy^-\^fT^^(^fT^^-\y^T + }_ ^^Т ^^Т _

73

где учтены условия (2.64) и очевидное s s — п; аналогично

= Sp yp^xp(xp^yif)-^ - SP ~ ss^ = /w.

Воспользовавшись выражением (2.62) и утверждением 2.11, теперь можем числитель в (2.61) представить в виде

где е/а -стандартный гауссовский вектор.

Так как матрица Y(Y Ч') 4f — " ss является идемпотент-

ной, то в соответствии с утверждением 2.5 эта величина подчине­ на х^(т)-распределению. Таким образом, выражение (2.61) мо­ жет быть представлено в эквивалентной форме

1

— W

у= tn

1

п-т-1

где W ~ %^(АЯ), V ~ х^{п — т— I) — случайные величины.

Ранее при доказательстве утверждения 2.8 было показано, что при гауссовском векторе е вектор у — Ч^&и оценка а независи­ мы. Но тогда независимы вектор Т в — >i и та же оценка 5^, т.е. числитель и знаменатель в (2.61). Последнее порождает незави­ симость случайных величин w и v, а это означает, что случайная величина у при справедливости гипотезы Но подчинена распре­ делению Фишера с т степенями свободы числителя и п — т — I степенями свободы знаменателя, т.е. у ~ F(m, п — т — 1), что поз­ воляет сформулировать следующий критерий проверки гипотезы Но (или альтернативы Hi).

На основе экспериментальных данных построим величину

\\we-ysf 1

74

где в — МНК-оценка (2.24) регрессионных параметров, а^- оценка (2.37) дисперсии экспериментальных ошибок.

Зададимся доверительной вероятностью q ипо таблицам или с помощью вычислительных средств найдем ^-квантиль Ug рас­ пределения Фишера с т,п — т — I степенями свободы. Тогда ес­ ли окажется у < Ug, то с вероятностью q считается справедливой

гипотеза Но; если же у > Ug, то с вероятностью 1 — q ошибиться предпочтение отдается альтернативе Hi.

Проверка гипотезы HQ: Э/ = в/ (/ = О, 1, ..., т).

Пусть в соответствии с какими-либо априорными соображе­ ниями появились основания предполагать, что параметр 0/ рег­ рессионной модели принимает гипотетическое значение ©Д Требуется на основе имеющихся экспериментальных данных подтвердить или опровергнуть это предположение. С этой целью в рассмотрение вводятся две гипотезы:

Но:е, = еЛН1:0,^0Д

Анализ ситуации проводится следующим образом. В случае гауссовской регрессионной модели, как было показано выше,

в - N{0, a^(Y^T)~^) и, следовательно, при справедливости гипо­ тезы Но 0/ - 0/ ~ Л^(0, а^), al = аV//, где \|/// - /7-й элемент матрицы (T^Y)~ . Тогда случайная величина (0/ - &i^)/Gi - N(0,1), т.е. представляет собой стандартную гауссовскую случайную ве­ личину. Построим случайную величину

в,-е?

Y=- Нп-т-1)а^

(j2 fi-m-l

где5^ = lb-Ч'в|р/(«-/"-!)•

Так как случайные величины, формирующие числитель и знаменатель этого выражения, статистически независимы и

75

что справедливо, таким образом, при выполнении гипотезы HQ. Принятие последующего решения осуществляется по уже извест­ ной схеме (см. вывод критерия (1.28)). В соответствии с результа­ тами регрессионного анализа находится величина (2.66). Далее при выбранной доверительной вероятности 1 — а по таблицам для распределения Стьюдента сп — т—1 степенями свободы или машинным образом находится lOOa/2-процентная точка >viooa/2- Если окажется |у| < >viooa/2> то с вероятностью 1 - а считается справедливой гипотеза Но; при противоположном неравенстве, т.е. в случае |у| > >V|ooa/2> гипотеза HQ отвергается как не согласую­ щаяся с экспериментальными данными с вероятностью а ошиб­ ки первого рода.

Для линейных рефессионных моделей, построенных с ис­ пользованием множества (1.18), величина (2.66) позволяет до­ полнительно решить вопрос о целесообразности включения /-й экзогенной переменной в состав величин, влияющих на эндоген­ ную переменную. Отсутствие такого влияния можно интерпрети­ ровать как равенство 0/^ = 0. Тогда, если окажется |0J < a/Wiooa/25 то с вероятностью 1 — а целесообразно считать, что /-я экзоген­ ная переменная не оказывает влияния на эндогенную перемен­ ную; при противоположном неравенстве гипотезу HQ: 0/ = О сле­ дует отвергнуть с вероятностью а ошибиться.

Выражение (2.66) позволяет построить доверительные интер­ валы для параметров регрессионной модели. Действительно, с вероятностью 1 — а должно выполняться

«а/2 - 'я ' ^ " V 2 =>®/ +S/V2 <0/ ^^/ - S/V2' ^* = ОЛ, ..., т.

С

Здесь Ua/2 есть а/2-квантиль распределения Стьюдента с п — т — I степенями свободы. Если учесть уже доказанное для данного случая равенство wiooa/2 "^ —««/25 то найденный интервал запишется так: 0/ - a/Wiooa/2 < ©/ ^ ©/ + 5/>^iooa/2-

76

2.3.9. Нелинейные регрессионные модели. Проблема стохастической сходимости

Характерная особенность рассмотренных выше регрессионных моделей проявляется в их линейной зависимости от параметров ©о, 01, ..., Qni- Вместе с тем не исключается перспектива приме­ нения моделей с нелинейной зависимостью от регрессионных параметров, подобно тому, как это было в случае производствен­ ной функции Кобба—Дугласа. Так, если множество потенциаль­ ных функций регрессии задается соотношением (1.20), то вектор экспериментальных данных >;, определенный подобным (2.4) об­ разом, будет представлен выражением

в котором вектор-функция ^(в) определена естественным для (1.20) образом:

¥л(^ьв)

^(в)=Е ¥)t(^2»e)

Как и ранее, МНК-оценка в вектора параметров в ищется в соответствии с условием

причем стационарные точки в функции /удовлетворяют тради­ ционному условию V/( в) = 0;;,+1. Однако из-за нелинейного включения вектора в в состав минимизируемой функции / най­ ти оценку в как явную функцию в (у) экспериментальных дан­ ных, в отличие от (2.24), не удается. Поэтому применяют различ­ ные численные алгоритмы нелинейного оценивания [25]. Несмо­ тря на многообразие подобных методов, можно выделить некото­ рые общие принципы, в соответствии с которыми конструирует­ ся большинство из них. Детальный анализ этих принципов не яв­ ляется целью настоящего пособия. Однако некоторые справоч­ ные сведения, касающиеся процедуры решения задачи (2.68), привести полезно.

77

Определение 2.9. Говорят, что вектор he R'"'*"^ задает направле­ ние убывания функции /(в) в точке в, если при всех малых р > О

выполняется условие

/(в + РА) < /(в).

Утверждение 2.12. Для того чтобы вектор h задавал направле­ ние убывания функции /(в) в точке в, необходимо и достаточно, чтобы в этой точке выполнялось условие (А, У/(в)) < О, т.е. ска­ лярное произведение вектора А и вычисленного в точке в гради­ ента функции У(в) должно быть отрицательным.

Доказательство этого утверждения, несмотря на его простоту, мы опускаем, так как оно несущественно для последующего из­ ложения.

Определение 2.10. Последовательность точек в^^\ в^^^ 0Р'\ ...

в пространстве R'"'^^ будем называть минимизирующей функцию /(в), если выполняются условия /(в^^^) > /(в^^^ > JiQp-^ > ....

Определение 2.11. Последовательность точек в^^^, В^^\ 0Р'\ ...

впространстве R'""^^ будем называть сходящейся к некоторой ста­ ционарной точке в G R'""^^ функции /(в), если при V5 > О 3iV(5) > О, так что при к > iVвыполняется условие ||в^^^ — ё|| < 5 или, что эк­ вивалентно, lim II в^^^ — в II = О при /: —> оо.

Заметим, что в общем случае минимизирующая и сходящаяся последовательности могут не совпадать.

Основываясь на введенных понятиях, можно предложить правило вычисления последовательности точек в^^\ в^^\ в^^^ ...

впространстве R'""^ , минимизирующей функцию /(в). В доста­ точно общем виде это правило таково:

где вектор А^ задает направление убывания функции /(в) в точке в^^^, а скалярная величина aic>Q определяет величину шага пере­ мещения. В зависимости от того, как конкретно выбираются па­ раметры а^ и А^, получают конкретный вычислительный алго­ ритм минимизации функции /(в). В частности, если принять hj^ = —V/(e^ О? что соответствует утверждению 2.12, то получим семейство градиентных алгоритмов. Из всего многообразия по­ добных методов остановимся на одном -- методе последователь­ ной линеаризации. Суть его заключается в следующем.

Пусть в соответствии с какими-либо предварительными со­ ображениями можно указать предполагаемое значение в^^^ оцен-

78

ки е. Если таковые соображения отсутствуют, примем в^^^ = 0;„-f 1- Назовем эту величину нулевым приближением к оцен­ ке е. Полагая функцию Т(в) дифференцируемой, разложим ее в окрестности точки в^^^ в ряд Тейлора, офаничив разложение первой частичной суммой. Приближенно получим:

Подставив это разложение в (2.68), получим функцию /, ква­ дратично зависящую от отклонения Ыд^^\ Найдем вектор Дв^^\ минимизирующий /. Очевидно, эта задача аналогична задаче (2.22), решается теми же средствами и приводит к подобному (2.24) результату: Ав^^^ = {{D^^^)^ D^^Y\D^^Viy -^^(в^^^)). Это позволяет найти первое приближение ^^^^ к оценке в

в(1) = в<^) + ((/)(0))Т /)(0))-1(/)(0))Т(^ _ 4^(0(0))).

Если теперь функцию Т(в) линеаризовать в окрестности точ­ ки в^^^ и повторить всю операцию, получим второе приближение. Обобщение процесса линеаризации с последующей минимиза­ цией квадратичной целевой функции порождает следующее релаксационное правило последовательного приближения к МНК-оценке:

(2.70)

А: = 0, 1,....

Несложно заметить, что сомножитель {D^^^)^(y - 4^(6^^^)) в (2.70) коллинеарен антиградиенту функции /, вычисленному в точке в^^^:

(/><^))Т(з; _ ^а0% = -0,5V/(e^^^).

Поэтому правило последовательных вычислений (2.70) мож­ но представить в эквивалентной форме:

0(^+1) ^Qik) _ о^5((/)(^>)'Г />^^W/(e^^>), )к = О, 1, .... (2.71)

Следовательно, построенный алгоритм можно классифици­ ровать как градиентный со специфичной матрицей весовых ко­ эффициентов. В сопоставлении с (2.69) имеем h^ = — ((D^^^)^x

79