Churakov_Mat_met_obr_exp_dan_v_ekon

оценки, которой соответствует неслучайный оцениваемый пара­ метр, такими показателями являются величина смещения

т^т = М^^{г\(у, в)} = My\Q{e {у)) - в,

представляющая собой среднее значение ошибки оценивания, и

ковариационная матрица ошибок оценивания

^л = ^>'|в{[ЛО', в) - ш^Св)] [л(у, в) - /п^(в)]^},

элементы главной диагонали которой представляют собой дис­ персии ошибок оценивания отдельных компонентов вектора в, а остальные элементы — ковариации между этими ошибками. Для несмещенных ошибок {m^{&) = 0^+1) ковариационная матрица ошибок принимает вид

и элементы ее главной диагонали имеют смысл дисперсий откло­ нений оценок от оцениваемых параметров, те. являются мерой разброса оценки относительно оцениваемого параметра.

Точность безусловной оценки, которая соответствует случай­ ному оцениваемому параметру, принято характеризовать матри­ цей вторых моментов отклонений оценки от оцениваемых пара­ метров:

Элементы главной диагонали этой матрицы представляют со­ бой средние квадраты ошибок оценивания отдельных компонен­ тов случайного вектора в, а остальные элементы являются вто­ рыми смешанными моментами этих ошибок.

Как уже отмечалось, степень приближения оценок к оцени­ ваемым параметрам является ограниченной снизу Это значит, что при любом способе оценивания нельзя получить оценки, точность которых будет выше определенных значений, являю­ щихся границами принципиально достижимых результатов. Эти границы задаются с помощью неравенства Рао — Крамера. Для несмещенных условных оценок справедливо

40

Здесь Ф — так называемая информационная матрица Фишера,

определяемая двумя эквивалентными способами:

(2.10)

=-л/у\е •1пДу|в)

Эв^

где д^1пДу|в) определяется как вектор-строка,

—jlnL(y | в ) - матрица вторых производных (матрица Гессе, ее

С/в

определение дано в п. 2.2). Нижняя фаница в неравенстве Рао - Крамера, заметим, достигается при эффективных оценках. Ана­ логичные соотношения существуют для смещенных и безуслов­ ных оценок (например, [29]).

2.2. Операции многомерного дифференцирования

Выше мы уже встречались с операциями дифференцирования, отличающимися от традиционно изучаемых в курсе высшей ма­ тематики их аналогов. Разумеется, это отличие чисто «организа­ ционное», не затрагивающее сущности и свойств дифференциро­ вания как математической операции. Рассмотрим наиболее ха­ рактерные ситуации, нуждающиеся в соответствующих коммен­ тариях.

1. Пусть у = Лх) и/К'^ -> R, т.е. рассматривается скалярная функция у от п переменных дс = [xi JC2 ... Xfj]^. Тогда по определе­ нию

т.е. производная от скалярной функции по векторному аргументу определяется как вектор-строка частных производных. Векторстолбец

41

образует градиент функции/(jc) в точке х.

Рассмотрим два характерных случая. Пусть у = х^Ах, Ае ^^'^.

42

Эту матрицу называют матрицей вторых производных, или

Эту матрицу принято называть матрицей Якоби, а ее опреде­ литель (при т^п)— якобианом. В частности, для функции у = Ах, где ^GR"""", имеем

^-Ах^А. (2.16)

4. Если JCGR'^ И W(A:)GR'", V(JC)GR'" — две вектор-функции, то производная по вектору х скалярного произведения этих функ­ ций определяется как вектор-строка

И, как следствие, производная от квадрата нормы, согласованной со скалярным произведением, и градиент находятся из выраже­ ний:

43

2.3. Метод наименьших квадратов

2.3.1. МНК-оценки

Возвратимся теперь к проблеме оценивания параметров в рег­ рессионной модели (2.3). Дополнительно уточним некоторые по­ ложения, касающиеся этой модели. Прежде всего условимся в последующих процедурах вектор в классифицировать как неиз­ вестный, что соответствует отсутствию всякой априорной ин­ формации о его свойствах. Далее будем полагать, что ошибки Ej{Xj) = Ejj' =1,2,..., п. Т.е. не зависят от значений экзогенных пе­ ременных, принимаемых при проведении эксперимента. Допол­ нительно эти ошибки полагаем центрированными, не коррели­ рованными друг с другом и имеющими при всеху одну и ту же, во­ обще говоря неизвестную, дисперсию а^ (в таких случаях измере­ ния (2.3) принято Hdi3biBaThравноточными). Таким образом,

M{Ej}=0, M{EiEj} = \^2 ^.^'^- i. J = h2, ..., п. (2.19

Итак, предполагается, что результатом проведения некоторо­ го эксперимента является совокупность наблюдений (апостери­ орная выборка) (2.3), упорядоченных в форме (2.4). Матрица \Р определяется выбранной системой функций при аппроксимации неизвестной функции регрессии и значениями экзогенных пере­ менных при проведении эксперимента. Векторы в и е в (2.4) соответствуют сделанным выше комментариям. Задача заключа­ ется в поиске оценки в(у) вектора в как функции наблюде­ ний}?.

Одним из наиболее распространенных подходов к решению сформулированной задачи в настоящее время является метод на­ именьших квадратов (МНК). Его особенность прежде всего про­ является в отсутствии каких-либо жестких претензий к априор­ ной информации об оцениваемых параметрах и эксперименталь­ ных ошибках. И это очень важно для эконометрических задач, которые, как правило, не допускают экспериментального повто­ рения и в этом смысле являются однократными. Поэтому МНК, несмотря на свою большую историю (он применялся еще Гауссом и Лежандром), в экономических исследованиях занимает лиди­ рующую позицию. Существо метода заключается в следующем.

44

в рассмотрение вводится целевая функция

J=ilyj-yv'^(xj)ef, (2.20)

представляющая собой сумму квадратов удаления эксперимен­ тальных данных от значений, определяемых регрессионной со­ ставляющей в модели наблюдений (2.3). Заметим, что именно эти значения наблюдались бы в эксперименте, если бы функция регрессии действительно относилась к классу (1.19) , отсутство­ вали латентные переменные и сам процесс измерений эндоген­ ной переменной был идеален. Структура целевой функции (2.20) является характерным признаком МНК. Наилучшей (оптималь­ ной) оценкой (МНК-оценкой), найденной по этому методу, счи­ тается такое значение параметра в, при котором функция (2.20) достигает своего минимума. Таким образом, МНК-оценка ищет­ ся из условия

вв у=1

Если, используя обозначения (2.4), целевую функцию (2.20) переписать в эквивалентной, но более компактной форме

Запишем необходимое условие минимума для этой задачи, вычислив в соответствии с (2.18), (2.16) градиент функции / и приравняв его нуль-вектору:

Vib' - Тв|р = -Т¥^(у - Ч'в) = 0^ + 1 => W^We = 4f^y. (2.23)

Уравнение (2.23) представляет собой матрично-векторную форму записи системы линейных неоднородных алгебраических уравнений, состоящей из /и + 1 скалярных уравнений и содержа­ щей такое же число неизвестных ©о, ©ь ..., Э^. Прежде чем при­ ступить к поиску решения данной системы, сформулируем ряд необходимых для этой цели положений.

45

Определение 2.1. Матрица AeR^^" называется матрицей полного ранга, если ее ранг rank ^ удовлетворяет условию гапк^ = = min (п, т).

Утверждение 2.1. Для произвольной матрицы А справедливо: rank А = rank А^А = rank AJV .

Доказательство утверждения можно найти, например, в [8, 9].

Утверждение 2.2. Пусть в (2.23) матрица Y^e R^'" ^ ^^^'^ являет­ ся матрицей полного ранга и « > (т + 1). Тогда матрица Y^T яв­ ляется невырожденной.

Действительно, матрица Y^YG R^'" ^ ^^^^'^ "^ ^\ и в силу ограни­ чения « > Аи + 1 и предьщущего утверждения имеем гапкЧ'^Т = = rank Ч? = m + 1. Но это значит, что определитель |Y^Y| Ф О, т.е. матрица Y^Y не вырождена.

Возвратимся теперь к системе уравнений (2.23). Из невырож­ денности матрицы Y^Y вытекает существование обратной мат­

то необходимое условие ее минимума является и достаточным, поэтому найденное решение системы (2.23) представляет собой решение задачи (2.22) и, следовательно, МНК-оценка вектора в определяется выражением

Если учесть определение матрицы Y, данное в комментариях к (2.4), то эту оценку можно представить в другой редакции:

/ = 1

При линейной относительно оцениваемых параметров моде­ ли наблюдений МНК-оценка оказывается линейной относитель­ но вектора наблюдений у. Офаничение п> тЛ- 1, физически оз­ начающее, что число наблюдений при организации эксперимен­ та должно быть больше числа оцениваемых параметров регресси­ онной модели, является существенным и означает, что лишь в этом случае можно успешно справиться с влиянием неконтроли­ руемых ошибок е. При п< т+ I rank Y = rank W^4f <пи матрица W^4f оказывается вырожденной. В этом случае система (2.23), да­ же если она совместна, не является определенной.

46

2.3.2. Основные свойства МНК-оценок. Теорема Маркова

Займемся теперь анализом основных свойств найденной оценки. Покажем прежде всего, что МНК-оценка (2.24) является несме­ щенной. С этой целью, используя (2.4), находим

М^е{^(у)} = M^e{(4f'^4^)-'4f^y} = Л/,|в{(^^^)-^Т^в + е)} = в,

что и является условием несмещенности.

Второй важнейшей характеристикой оценки является кова­ риационная матрица ошибки. Для несмещенной оценки она оп­ ределяется как (2.7). Ошибка оценивания находится естествен­ ным образом:

Л(у, в) = в(у) - в = (Ч^^ЧО"V^>; - в =

(2.26)

= (Y^40~^^^(Ye + 8) - в = (Ч'^^-^Ч'^е

и, следовательно, К^ = М{г\г^) = {'V^^y^'V^Mizz^YV (Т'^Т)"^ = = (Т'^Т)~^Т'^Хе "Р (Ч''^'F)-^ где К^ - ковариационная матрица вектора е. Так как в соответствии с (2.19) К^ = о^Е, где Е — еди­ ничная матрица, окончательно находим

Соотношение (2.27) принципиально позволяет выявить точ­ ностные возможности метода наименьших квадратов. К сожале­ нию, практическая значимость этого результата невелика, так как в большинстве эконометрических задач дисперсия а^ экспе­ риментальных ошибок неизвестна. Однако МНК-оценкам при­ суще еще одно важное свойство.

Теорема Маркова. Пусть модель наблюдений имеет структуру (2.4), вектор е удовлетворяет условиям (2.19), матрица Ч'является матрицей полного ранга и л > m + 1. Тогда МНК-оценка (2.24) яв­ ляется наилучшей (в смысле наименьшей дисперсии ошибок оценивания) среди всех линейных несмещенных оценок.

Для доказательства теоремы предположим, что мы хотим найти наилучшую в указанном смысле линейную несмещенную оценку к-то компонента 0у^ вектора в. Этот компонент очевид­ ным образом выразим через сам вектор: 0^^^ = А^^^в, где А^ - век-

47

тор, у которого на (к + 1)-й позиции (А: = О, 1, ..., т) находится единица, а остальные компоненты равны нулю. Оценку % вели­ чины 0^ будем искать в классе линейных функций наблюдений, т.е. в виде 0^ = И^Л, где Wj^ — вектор подлежащих определению весовых коэффициентов. Пусть щ — ошибка оценивания, т.е.

Первое слагаемое в этом выражении зависит от неизвестного вектора в и поэтому его величину нельзя оценить даже ориенти­ ровочно. Чтобы ошибку оценивания сделать независимой от оце­ ниваемого вектора, потребуем

При этом дополнительно оказывается М{щ} — О, т.е. соотно­ шения (2.28) оказываются условиями несмеш;енности. В развер­ нутом виде выражение (2.28) представляет собой систему линей­ ных неоднородных алгебраических уравнений, состоящую из /w + 1 уравнений с п неизвестными в виде компонентов вектора Wj^. Так как п > т -^ \ м^ — матрица полного ранга, то при указанной стр>ж:туре вектора А^ эта система совместна, но не определена, т.е. имеет неофаниченное число решений. Если равенство (2.28) вы­ полняется, ошибка оценивания будет определяться только ошиб­ ками эксперимента и искомой весовой функцией: r\j^ = И^^^в, причем дисперсия Cj^ этой ошибки оказывается равной

Последующая задача заключается в поиске на множестве ре­ шений системы (2.28) такого вектора Wj^, который минимизирует величину (2.29). Эта традиционная задача на условный экстре­ мум решается методом неопределенных множителей Лагранжа. Составим функцию Лагранжа

L{ W,, Я) = а^ Wj W, + X\4f^W, - h),

где X — вектор неопределенных множителей Лагранжа.

Стационарные точки этой функции находятся из условия ра­ венства нулевым векторам ее градиентов по векторам Wi^ и X:

48

2aV^-TX = 0„Y^^F^-A^ = 0^ + i.

Выразив из первого уравнения этой системы вектор W/c и под­ ставив его значение во второе, получим 0,5а~^Т^ТХ - Ajt = 0^ + i. Так как матрица ^^Т по доказанному не вырождена, то отсюда однозначно находится вектор X, подстановка значения которого в первое уравнение предыдущей системы позволяет найти иско­ мый вектор весовых коэффициентов

что приводит к следующему выражению оценки, наилучшей в классе линейных несмещенных оценок:

Упорядочив все эти т + 1 оценок в форме одной векторной оценки, получим

Ло^

№^V)"^vV

Но первый матричный сомножитель в этом выражении есть не что иное, как единичная матрица, и, следовательно.

Этот результат полностью совпадает с ранее полученной МНК-оценкой (2.24). Таким образом, МНК-оценка действитель­ но оказывается наилучшей в классе линейных несмещенных оце­ нок.

Значение теоремы Маркова становится еще более важным, если предположить, что вектор экспериментальных ошибок яв­ ляется гауссовским, а именно 8 ~ 7V(0, G^E). Покажем, что в этом случае МНК-оценка оказывается наилучшей и среди всех нелиней­ ных несмещенных оценок, т.е. эффективной. С этой целью обратим ся к неравенству Рао - Крамера (2.9) и найдем информационную

49