Диплом / suslov_ibragimov_ekonometrika

Глава5

Случайные ошибки

Задачей регрессионного анализа является построение зависимости изучаемой случайной величины x от факторов z :

x = f (z, A) + ε,

где A Ñпараметры зависимости.

Если z Ñистинный набор факторов,полностью определяющий значение x, а f Ñистинная форма зависимости,то ε Ñ случайные ошибки измерения x. Однако в экономике весьма ограничены возможности построения таких истинных моделей,прежде всего потому,что факторов,влияющих на изучаемую величину,слишком много.В конкретных моделях в лучшем случае наборы z включают лишь несколько наиболее значимых факторов,и влияние остал ьных,неучтенных, факторов определяет ε.Поэтому ε называют просто случайными ошибками или

остатками.

В любомслучае считают,что ε Ñслучайные величины снулевымматематическим ожиданием и,как правило,нормальны м распределением.Последнее следует из центральной предельной теоремы теории вероятностей,поскольку ε по своему смыслу является результатом(суммой)д ействия многих мелких малозначимых по отдельности факторов случайного характера.

Действительно,в соответствии с этой тео ремой,случайная вел ичина,являющаяся суммой большого количества других случайных величин,которые могут иметь различные распределения,но взаимно независимы и не слишком различаются между собой,имеетасимптотическинормальноераспределение,т.е.чембольшеслучайных величин,тем ближе распределение их суммы к нормальному.

5.1.Первичные измерения

Пусть имеется N измерений xi , i = 1, . . . , N ,случайной величины x,т.е. N наблюдений за случайной величиной.Предполагается,что измерения проведены в неизменных условиях(факторы,влияющие на x,не меняют своих значений), и систематические ошибки измерений исключены.Тогда различия в результатах отдельных наблюдений(измерений)связ аны только с наличием случайных ошибок измерения:

где β Ñистинное значение x, εi Ñслучайная ошибка в i-м наблюдении.Такой набор наблюдений называется выборкой.

Понятно,чтоэтоÑидеальнаямодель,котораяможетиметьместовестественнонаучных дисциплинах(в управляемом эксперименте).В экономике возможности измерения одной и той же величины в неизменных условиях практически отсутствуют.Определенные аналогии с этой мо делью возникают в случае,когда некоторая экономическая величина измеряется разными методами(например,ВВПÑ по производству или по использованию),и наблюден иями выступают результаты измерения,осуществленные этими разными методами.Однако эта аналогия достаточно отдаленная,хотя бы потому,что в модели N предполагается достаточно большим,а разных методов расчета экономической величины может быть в лучшем случае два-три.Тем не менее,эта модель полезна для понимания случайных ошибок.

Предполагается,что ошибки по наблюд ениям имеют нулевое математическое ожидание в каждом наблюдении: E (εi) = 0, i = 1, . . . , N ;линейно не зависят друг от друга: cov (εi, εj ) = 0, i =! j ;а их дисперсии по наблюдениям одинаковы:

var (εi) = σ2, i = 1, . . . , N или,в матричной форме: E (εε!) = IN σ2,где σ2 Ñ дисперсияслучайныхошибокилиостаточнаядисперсия, IN Ñединичнаяматрица

размерности N .ЭтоÑобычные гипотезы относительно случайных ошибок.

Требуется найти b и ei Ñоценки,соответственно, β и εi .Для этого используется метод наименьших квадратов(МНК ),т.е.искомые оценки определяются

%

нойточкедостигаетсяминимум,т.е.МНК-оценкойистинногозначенияизмеряемой

величины является,как и следовало ожид ать,среднее арифметическое по наблюдениям,а среднее МНК-оценок остатков равно нулю:

eø = N1 1!N (X − 1N b) = xø − b = 0.

Оценка b относится кклассу линейных,поскольку линейно зависитот наблюдений за случайной величиной.

Полученная оценка истинного значения является несмещенной (т.е.ее математическое ожидание равно истинному значению оцениваемого параметра),что можно легко показать.

Действительно:

Что и требовалось доказать.

Однако несмещенной оценкой β является и любое наблюдение xi ,т.к.из(5.1) следует,что E (xi) = β.

Легко установить,что оценка b лучше,чем xi ,т.к.имеет меньшую дисперсию (меньшую ошибку),то есть является эффективной.Более того, b Ñнаилучшая в этом смысле оценка во множестве всех возможных линейных несмещенных оценок.Ее дисперсия минимальна в классе ли нейных несмещенных оценок и определяется следующим образом:

Действительно,множество всех линейных оценок по определению представляется следующим образом:

b = !N dixi ,

i=1

где di Ñлюбые детерминированные числа. Из требования несмещенности,

E (b ) = β,

следует,что %di = 1,т.к.

Таким образом,множество всех линейных несмещенных оценок описывается так:

Что и требовалось доказать.

Такие оценки относятся к классу BLUE Ñ Best Linear Unbiased Estimators.

Кроме того,оценка b состоятельна (стремится при N → ∞ к истинному значению параметра),т.к.она несмещена и е е дисперсия,как это следует из(5.4), при N → ∞ стремится к0.

independently distributed (нормально и независимо распределенные случайные величины).Тогда становится известной функция плотности вероятности εi :

f (εi ) = (2π)− 12 σ−1e− 2σ12 ε2i = (2π)− 12 σ−1e− 2σ12 (xi−β)2 ,

и функция совместной плотности вероятности(произведение отдельных функций плотности,так как случайные ошибки по наблюдениям взаимно независимы) (см.ПриложениеA.3.2):

%

f (ε1, . . . ,ε N ) = (2π)− N2 σ−N e− 2σ12 (xi−β)2 .

Эта функция рассматривается как функция правдоподобия L (σ,β ),значения которой показываютÇвероятностьÈ (правд оподобность)появления наблюдаемых xi , i = 1, . . . , N ,при тех или иных значениях σ и β.Имея такую функцию, можно воспользоваться для оценки параметров σ и β методом максимального правдоподобия (ММП):вкачествеоценокпринятьтакиезначения σ и β,которые доставляют максимум функции правдоподобия(фактически предполагая,что,раз конкретные xi , i = 1, . . . , N реально наблюдаются,то вероятность их появления должна быть максимальной).

Обычно ищется максимум не непосредственно функции правдоподобия,а ее логарифма(значения этой функции при конкретных xi и конечных σ положительны,и их можно логарифмировать;эта операция,естественно,не меняет точки экстремума),что проще аналитически.

ln L (σ,β ) = −N2 ln 2π − N ln σ − 2σ12 !(xi − β)2.

Ищутся производные этой функции по σ и β,приравниваются нулю и определяются искомые оценки:

Это точка минимума,поскольку матрица2-х производных

N 1 0 −s2

0 2

в ней отрицательно определена.

Таким образом,ММП-оценки β и εi совпадают с МНК-оценками,но ММПоценка σ2 равна не sö2, а s2,т.е.является смещенной.Тем не менее,эта оценка состоятельна,т.к.при N → ∞ различия между sö2 и s2 исчезают.

Известно,что метод максимального правдоподобия гарантирует оценкам состоятельность и эффективность,т.е.они обладают минимально возможными дисперсиями(вообще,ане тол ьковкласселинейныхнесмещенных,какоценкикласса

BLUE).

Врамкахгипотезыонормальностиошибок ε можнопостроитьдоверительный интервал для истинного значения параметра,т.е.интервал,в которыйэто значение попадает с определенной вероятностью 1 − θ,где θ Ñуровень ошибки(аналогичен величинам sl и pv,введенным во2-й и4-й главахIчасти книги;в прикладных исследованиях уровень ошибки принимается обычно равным 0.05).Он называется

где εö1−θ Ñ (1 − θ)100-процентный двусторонний квантиль нормального распределения.

Откуда

Ñискомый (1 − θ)100-процентный доверительный интервал.

К сожалению,на практике этой формулой доверительного интервала воспользоваться невозможно,т.к.она предполагает знание остаточной дисперсии σ2.Известна же только ее оценка sö2.

Простая заменав(5.8) σ на sö будетприводить к систематическим ошибкамÑ к преуменьшению доверительного интервала,т.е.к преувеличению точности расчета.

Чтобы получить правильную формулу расчета,необходимо провести дополнительные рассуждения.

Справедливость этого утверждения достаточно очевидна,поскольку,как было показано выше,сумма квадратов e!e имеет N − 1 степень свободы,но может быть доказана строго.

В матричной форме выражение(5.6)записывается следующим образом:

где B = IN − N1 1N 1"N .

Матрица B размерности N × N :

а)вещественна и симметрична( B" = B ),поэтому она имеет N вещественных корней,которые можноÇсобратьÈв диагональной матрице Λ, и N взаимно ортогональных вещественных собственных векторов,образующих по столбцам матрицу Y .Пусть проведена надлежащая нормировка и длины этих собственных векторов равны 1.Тогда:

б)вырождена и имеет ранг N − 1.Действительно,имеется один и только один(с точностью до нормировки)вектор ξ =! 0,который дает равенство Bξ = 0.Все компоненты этого единственного вектора одинаковы,т.к.,как было показано выше, Bξ Ñцентрированный ξ .В частности,

где Yj Ñ j -й собственный вектор матрицы B .

Собственные числа матрицы B ,как и любой другой идемпотентной матрицы,равны либо1,либо0 ( λ Ñлюбое собственное число, ξ Ñсоответствующийсобственный вектор):

(см.также ПриложениеA.3.2).

Случайные величины,определенные соотношениями(5.7, 5.9),некоррелированы,а,следовательно,и взаимно не зависимы по свойствам многомерного нормального распределения(см.ПриложениеA.3.2).

Действительно:

Что и требовалось доказать.

Поэтому,в соответствии с определением случайной величины,имеющей t-распределение(см.также ПриложениеA.3.2):

и после элементарных преобразований(сокращения σ и замены(5.5))получается

где töN −1,1−θ ления.

ЭтоÑоперациональная(допускающая расчет)форма доверительного интервала для β.Как видно,для ее получения в(5.8)надо заменить не только σ на sö,но

и εö1−θ на töN −1,1−θ .Т.к. töN −1,1−θ > εö1−θ ,использование(5.8)с простой заменой σ на sö действительно преуменьшает доверительный интервал (преувеличивает

точность расчета).Но по мере роста N (объема информации),в соответствии со свойствами t-распределения,доверительный интервал сужается(растет точность расчета),и в пределе при N → ∞ он совпадает с доверительным интервалом(5.8) (с простой заменой σ на sö).

Важнымявляетсявопрос содержательной интерпретации доверительных интервалов.

Понятно,что в рамках подхода объек тивной вероятности непосредственно утверждения(5.8,5.15)не могут считаться корректными.Величина β Ñдетерми- нированаинеможетскакой-либовероятностью 0 < 1 − θ < 1 принадлежатьконкретному интервалу.Она может либо принадлежать,либо не принадлежать этому интервалу,т.е.вероятность равна либо 1,либо 0.Потому в рамках этого подхода интерпретация может быть следующей:если процедуру построения доверительного интервала повторять многократно,то (1 − θ) á 100 процентов полученных интервалов будут содержать истинное значение измеряемой величины.

Непосредственно утверждения(5.8, 5.15)справедливы в рамках подхода субъективной вероятности.

Рассмотренная модель(5.1)чрезвычайно идеализирует ситуацию:в экономике условия,в которых измеряются величины,п остоянно меняются.Эти условия представляются некоторымнабором факторов zj , j = 1, . . . , n,имодельÇизмеренияÈ записывается следующим образом:

где zij Ñнаблюдения за значениями факторов, αj , j = 1, . . . , n, β Ñоцениваемые параметры.