Churakov_Mat_met_obr_exp_dan_v_ekon

Пусть z G В^, yeR^ и z - (p(y) — решение некоторой задачи, найденное как функция вектора у. Тогда:

Определение 2.3. Решение z = фС^) Hдiзыв2icтcя устойчивым, ес ли при V8 > О 35(8) > О такое, что из неравенства \\у\ — У2\\ < 5(e) с дует ||zi - Z2II < е, где у\ и У2 — произвольные элементы из R'^,

Z]=(f(y\),Z2='(p(y2)'

По существу, это определение означает, что решение устойчи­ во, если малым по норме изменениям 8у аргумента j ; соответству­ ют малые по норме изменения 8z в решении z, так что ||8z||~>0 при

IISjiHO.

Определение 2.4. Задача поиска решения z = ф(у) называется корректно поставленной на паре пространств R'^, R'", если вы­ полняются условия:

1)для \/уе Я^ существует решение ze R'";

2)решение определено однозначно, т.е. единственно;

3)решение устойчиво.

Задачи, не удовлетворяющие перечисленным требованиям, называют некорректно поставленными. В связи с поиском МНКоценок наибольшее беспокойство вызывает третье условие, что и порождает, как уже отмечалось, необходимость найти своеобраз­ ный критерий устойчивости решения. Осуществим это намере­ ние в связи с поиском решения системы алгебраических уравне­ ний

подобной определяющей МНК-оценку системе (2.23). Для этого нам понадобятся некоторые дополнительные сведения о вектор­ ных и матричных нормах.

Определение 2.5. Пустъу= [J/]GR'^, т.е. /= 1, 2,..., п. Тогда чис­

ло

называется гельдеровой нормой вектора у.

В зависимости от/? получают ту или иную частную норму Так, при/7 = 1 получают октаэдрическую [9], или /i-норму [26]; при /? = 2 имеем уже широко нами использовавшуюся евклидову, или /2-норму; при /7 = оо получим кубическую, или /оо-норму |[у|| = maxjlyj, / = 1,2,..., п). В зависимости от характера решаемой задачи применяют ту или иную частную норму.

60

Определение 2.6. Пусть А = [а,у]е R'"^ и \\у\\е R^. Тогда число

;;GR^з;^0„ I А'II

называется нормой матрицы А, согласованной с нормой вектора;?. Помимо трех традиционных аксиом, которым удовлетворяет норма любого математического объекта из линейного простран­ ства, матричная норма (2.43) обладает еще одним свойством: ес-

лиАеК'^'^иВеК"'^,то

|И^|<|И1|хМ. (2.44)

В зависимости от способа определения векторной нормы по­ лучают определенную матричную норму Так, если \\у\\ - /i-нор­ ма, то

т

М||=тахЕ|%|

1<А:<л/=:1

И называется максимальной столбцовой нормой. Если ||у|| - /оо-норма, то

М||=тах Iп \а^1,\

\<i<mk=\

И называется максимальной строчной нормой. Если Щ — евкли­ дова норма, то

MlhV^max»

где Хтах - максимальное собственное число матрицы А^А и назы­ вается спектральной нормой. Используются и другие матричные нормы. Например,

Полезно иметь в виду \\Щ > 1, |И"^|| > l|J£ll/IMI, где Е, Ае R^^^ Возвратимся теперь к системе (2.41). Пусть вместо точного

значения у получено приближенное значение у = у + 5у. Тогда вместо точного решения z системы получим приближенное

61

z= z + 6z, причем отклонения связаны уравнением Ьу = Adz или 5z = ^~^б>^. Переходя к нормам, получаем с учетом (2.44) ||5г|| ^ |И~^11 X 1|5у|1- Рассмотрим относительную ошибку решения ||Sz||/||zl|. Из (2.44) следует ||j; || < \\А\\ х ||/||. Перемножив два послед­ них неравенства, получим

Отсюда следует, что относительная ошибка в решении, вы­ званная неточным заданием входных данных j;*, тем больше, чем больше число ЦА'^Ц х \\A\l которое может служить своеобразным индикатором устойчивости решения.

Определение 2.7. Число D^ = Ы~Ч х 1И11 Для невырожденной матрицы ^ и D^ = оо для вырожденной называется числом обуслов­ ленности матрицы А.

Некоторые характерные свойства числа обусловленности [19]:

max! И l^minl"~ наибольшее И Наи­ меньшее по модулю собственные числа матрицы А; D^B ^ D^D^ для произведения АВ матриц. Матрицы с большим числом обус­ ловленности называются плохо обусловленными в противовес хорошо обусловленным матрицам, которым соответствуют малые числа обусловленности.

Таким образом, чем больше число обусловленности матрицы, тем большая относительная ошибка решения порождается одной и той же относительной ошибкой задания входных данных >?. При этом следует иметь в виду, что конкретное значение числа обус­ ловленности зависит от способа задания нормы \\А\\ матрицы А, Заметим, что современные пакеты прикладных программ преду­ сматривают вычисление чисел обусловленности матриц при раз­ личных заданиях их норм.

Выявленные особенности системы (2.41) свойственны, разу­ меется, и системе (2.23), используемой для поиска МНК-оценки (2.24). Если матрица Т Т оказывается плохо обусловленной, ис­ пользовать выражение (2.24) как средство практического вычис­ ления МНК-оценки рискованно, так как даже малые ошибки в задании вектора Ч^^у могут привести к большим отклонениям ре­ шения, т.е. к большим ошибкам МНК-оценки. Несложно полу­ чить аналогичное (2.45) неравенство для уравнения (2.23). Пусть У* = \ff^Q __ гипотетический вектор экспериментальных данных,

62

соответствующих идеальному случаю безошибочных наблюде­ ний, и j ; = Y^e + 8 — результат реальных наблюдений. Тогда по аналогии с (2.45) получаем

не - в|| / ||в|| < l^'^^'ll X ||(W)-^|| X {^''eW I II^^Vll.

Отсюда следует, что при плохо обусловленной матрице Y^Y нужны иные, нежели (2.24), принципы поиска решения системы (2.23). Эти принципы и при плохо обусловленной матрице Y^Y должны гарантировать приемлемо малые ошибки оценивания. Успехи вычислительной математики в этом направлении в по­ следнее время связаны с разработкой так называемых .we/wc?(3oe/?^- гуляризации, объединенных в весьма разветвленную математиче­ скую теорию решения некорректных задач (например, [24]). Да­ лее, не вдаваясь в терминологические и принципиальные осо­ бенности методов регуляризации, рассмотрим один из алгорит­ мов, позволяющих обеспечить устойчивость решения при вычис­ лении МНК-оценок и организовать достаточно рациональную вычислительную схему поиска этих оценок.

2.3.7. Рекуррентный метод наименьших квадратов

Предположим, что поиск МНК-оценки осуществляется не по всему массиву >^1, yj-, '•••>Уп экспериментальных данньис, а лишь по части^1,^2» •••» Уь к<п. Это означает, что целевая функция (2.20)

и соответствующая оптимизационная задача приобретают вид

Техника решения задачи (2.46) уже известна, и ее «материали­ зация» может быть представлена в форме (2.25)

Здесь индекс у оценки указывает на объем эксперименталь­ ных данных, используемых при ее вычислении. Выражение (2.47) введено чисто формально в том отношении, что проблема обра-

63

щаемости матрицы в (2.47) не обсуждается, так как в последую­ щем она легко снимается.

Утверждение 2.9. Пусть матрицы Р, Q, R таковы, что образуют невырожденную матрицу Р~^ 4- Q^RT^Q. Тогда справедливо пред­ ставление

Доказательство этой так называемой леммы об обращении ма­ трицы можно найти, например, в [20], и мы не будем на нем ос­ танавливаться.

Введем обозначение

=(%-i~^+Wk)V(x,)rK

Воспользовавшись леммой об обращении матрицы, предста­ вим

% = %-1 - '3ik.Mxk)(W^(xj,) 3if,_Mxk) + l)~V(Xk) ^k~h (2.49) Это позволяет следующим образом преобразовать выражение

к-\

= i^k-l -Qk-l^-l) 1 WiXi)yi+^kW(Xj,)yk,

/=l

где обозначено ^^_i = 9l^_iV(X)t)(\|f^(x^) 3ik-Mxk) + l)"V^(^it). По аналогии с (2.47)

^k-ilv(Xi)yi^e^^-^^

и, следовательно,

в(к) = в<^-^> - ^,_1 в(^-^> + %^(Хк)Ук^

64

в соответствии с введенными обозначениями имеем:

Sik-Г^ = 91^-^ - yif(Xk)yv^(Xk) => Qk-i = ^к У¥(хк)У¥^{Хк).

Совокупность выражений (2.49), (2.50) обычно и принято на­ зывать рекуррентным методом наименьших квадратов (РМНК). Вычисления по этому методу организуются последовательно. Вначале полагают к= I; задают начальные условия, наиболее ча­ сто в виде 9^^^ = 0,91о = уД где у = const >> 1; из (2.49) находят 9li, а из (2.50) — в^^\ что формально соответствует поиску оценки в^^^ регрессионных параметров по единственному эксперимен­ тальному результату;;!. Разумеется, никакого серьезного внима­ ния к оценке в^^^ проявлять нельзя, она лишена какого-либо практического смысла и должна рассматриваться как формаль­ ный «эпизод» на пути получения МНК-оценки. Далее принима­

ют А: = 2, из (2.49) находят 912 » ^ из (2.50) — в^^\ что соответству­ ет уточненной по второму экспериментальному наблюдению У2 оценке. Далее аналогичным образом проводятся вычисления при /: = 3,4,..., л, что приводит к оценке в^'^^ принимаемой за МНКоценку.

Как видно, при такой схеме вычислений не приходится обра­ щать плохо обусловленную матрицу, что стимулирует получение устойчивого решения. Чтобы более явно раскрыть механизм это­ го явления, поступим следующим образом. С использованием матрицы 91;^ МНК-оценку (2.25) можем представить в следующем виде:

Матрица 91„ вычисляется последовательно. Будем иметь:

% = (%Г^ + v(jc,)v^(xi))-'; 9l2 = (91,-' + Щх2)у/^(Х2)Г^ =

65

67

||е~е||

системы уравнений (2.23); ц^., для МНК - относительная 11^11

ошибка МНК-оценки (2.24); ^* ^ для РМНК - относитель-

II в II

пая ошибка оценки, найденной рекуррентным методом наи­ меньших квадратов-diag (4f^W)~^ — столбец диагональных эле­ ментов матрицы (Т Т)~^ определяющей точность МНК-оцен­ ки. При проведении вычислений применялись евклидова вектор­ ная и спектральная матричная нормы. Содержащиеся в табл. 2.1 данные получены усреднением по десяти реализациям вектора е, ковариационная матрица которого в эксперименте принималась равной (2/3)xlO""^jE'. Истинное значение вектора в формирова­ лось случайным образом и оказалось равным в^ = [4,063 0,053 1,655]. Первая строка в табл. 2.1 соответствует вырожденной мат­ рице 4f^4f. Из таблицы видно, что при плохо обусловленных мат­ рицах 4f^4f рекуррентный метод, в отличие от регулярного, ведет себя вполне «пристойно».

По мере уменьшения числа обусловленности матрицы Y^Y точностные характеристики методов сближаются. Наблюдаемое ухудшение точности рекуррентного метода в «среднем» диапазо­ не чисел обусловленности можно объяснить тем, что все исследо­ вания проводились при одном и том же значении параметра у, определяющего начальную матрицу ^Q = уЕ в структуре рекур­ рентного алгоритма (было принято у = 10 ). Вместе с тем иссле­ дования свидетельствуют об определенной чувствительности ал­ горитма к значению этого параметра, которое полезно адаптиро­ вать к числу обусловленности матрицы Y^Y. Так, если при D = 5,56 X 10 положить у = 10^, то относительная ошибка рекуррентно найденной оценки оказывается равной 0,723 (вместо 3,18 при у = 10"^). Выбор оптимального значения параметра у здесь не обсуждается.

2.3.8. Коэффициент детерминации. Послерегрессионный анализ регрессионной модели

Коэффициент детерминации. Рассмотренные выше методы рег­ рессионного анализа предполагали, что регрессионная модель (2.2) (число и характер экзогенных переменных, структура и раз­ мерность вектор-функции Щх) и т.п.) выбрана и обоснована

68

средствами предварительного анализа регрессионной модели (см. п. 1.5). После проведения рефессионного анализа исследова­ тель располагает большей информацией о свойствах модели, так как для регрессионных параметров модели и дисперсии экспери­ ментальных ошибок получены МНК-оценки и установлены их основные свойства. Это позволяет с позиций новых знаний еще раз возвратиться к модели (2.2), подвергнуть ее дополнительному анализу и при необходимости подкорректировать.

В эконометрических задачах существенная часть послерегрессионного анализа связана с применением так называемого коэффициента детерминации. Чтобы его определить (здесь воз­ можны различные подходы), рассмотрим вариацию (разброс) вар(у) экспериментальных данных (2.4) относительно их средне­ го значения, которую по определению примем равной

Введем обозначения: / = Т в - оцененные значения регрес­ сионных составляющих в наблюдениях у, г= у —/ есть оценки экспериментальных ошибок, и представим

регрессионных составляющих наблюдений относительно средне­ го значения наблюдений. Покажем, что последнее слагаемое в (2.53) равно нулю. Действительно, имеем:

ё = д;-Ч'в = ^ в + е - '¥(4f^4fy^4f^(We + е) = (£ - WCP^W)-^W^)E.

69