ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

19.1. Оценка параметров байесовской регрессии

Для уравнения регрессии

X = Zα + ε

имеются априорные представления об α и σ, которые выражаются плотностью вероятности совместного распределения (α, σ).

После эксперимента, результатами которого является выборка в виде вектора X и матрицы Z, эти представления корректируются. Аналогом (19.2) в данном случае выступает следующее выражение:

где

p (X, Z) = L (X, Z|α, σ) dα dσ.

α,σ

Поскольку Z не зависит от α и σ , его можно «вынести за скобки»:

L (X, Z|α, σ) = PN (X|Zα, σ2 I)p (Z) , p(X, Z) = p(X|Z)p(Z),

и записать (19.3) в следующем виде:

p (α, σ|X, Z) = PN (X|Zα, σ2 I)p (α, σ) . p (X|Z)

Поскольку p(X|Z) не зависит от α и σ , эту формулу можно записать, используя знак %, который выражает отношение «пропорционально», «равно с точностью до константы»:

Пусть выполнены все гипотезы основной модели линейной регрессии, включая гипотезу о нормальности. Тогда

Действительно,

(X − Zα) (X − Zα) = (X − Za −Z(α − a)) (X − Za − Z(α − a)) =

←−−−→

e

= e e − 2e Z(α − a) +(α − a) Z Z(α − a),

←−−−−−−→

=0

т.к. e и Z ортогональны (см. 7.18).

Теперь предполагается, что σ известна. Тогда

а соотношение (19.4) записывается в более простой форме:

p (α|X, Z ) PN (X|Zα, σ2 I)p(α).

Пусть α априорно распределен нормально с математическим ожиданием αˆ и ковариацией Ω :

Утверждается, что α апостериорно распределен также нормально с математи-

Для доказательства этого утверждения необходимо и достаточно показать, что разность показателей экспонент в (19.5) и (19.8) не зависит от α.

Вводятся новые обозначения: x = α − a; y = α − αˆ; A = Ω−a 1 ; B = Ω−1 .

¯ −1 Ω = (A + B) ,

a¯ = (A + B)−1 (A (α − x) + B (α − y)) =

= (A + B)−1 ((A + B) α − (Ax + By)) = α − (A + B)−1 (Ax + By)

и, следовательно, показатель степени в (19.8) выглядит так (множитель −1 2 также отбрасывается):

Искомая разность (19.9) и (19.10) записывается следующим образом:

(1) − (2) − (3) + (4),

где

(1)= A − A (A + B)−1 A,

(2)= A (A + B)−1 B,

(3)= B (A + B)−1 A,

(4)= B − B(A + B)−1B.

Легко показать, что все эти матрицы одинаковы и равны некоторой матрице C :

и, следовательно, искомая разность представима в следующей форме:

Что и требовалось доказать.

606 Глава 19. Байесовская регрессия

Как видно из (19.5, 19.6), апостериорная ковариация ( ¯ ) является результатом

Ω

гармонического сложения опытной (Ωa) и априорной ( Ω ) ковариаций, апостериорные оценки регрессии (a¯) — средневзвешенными (матричными) опытных (a) и априорных (αˆ) оценок. Если априорные оценки имеют невысокую точность, и Ω велика, то влияние их на апостериорные оценки невелико, и последние определяются в большой степени опытными оценками. В предельном случае, когда Ω → ∞,

т.е. априорная информация совершенно не надежна, → ¯ → . a¯ a, Ω Ωa

19.2. Объединение двух выборок

В действительности априорная информация может быть также опытной, но полученной в предшествующем опыте. Тогда формулы, полученные в предыдущем пункте показывают, как информация нового опыта — по новой выборке — корректирует оценки, полученные в предыдущем опыте — по старой выборке. В данном пункте показывается, что в результате применения этих формул получаемая апостериорная оценка в точности равна оценке, которую можно получить по объединенной выборке, включающей старую и новую.

Пусть имеется две выборки:

старая — Z1 , X1 : X1 = Z1α1 + ε1 ,

и новая — Z2 , X2 : X2 = Z2α2 + ε2 .

Считается, что σ1 и σ2 известны (как и в предыдущем пункте). Даются оценки параметров по этим двум выборкам:

a1 = (Z 1Z1)−1 Z1X1, Ωa1 = σ12 (Z1Z1)−1 ,

a2 = (Z2Z2)−1 Z2X2, Ωa2 = σ22 (Z2Z2)−1 .

В предыдущем пункте первой выборке соответствовала априорная оценка, второй — опытная.

Теперь дается оценка параметров по объединенной выборке. При этом наблюдения должны быть приведены к одинаковой дисперсии:

В этой объединенной регрессии остатки имеют дисперсию, равную единице.

Таким образом, оценки по объединенной выборке в терминах предыдущего пункта являются апостериорными.

19.3. Упражнения и задачи

Упражнение 1

По данным таблицы 19.1:

1.1.Оцените регрессию X по Z и константе, учитывая априорную информацию, что математические ожидания всех коэффициентов регрессии равны 2, а их ковариационная матрица — единичная. Считать, что дисперсия ошибки равна 2.

1.2.Разделите выборку на две части. Одна часть — 20 первых наблюдений, другая часть — 20 остальных наблюдений. Считать, что дисперсия ошибки в первой части равна 1, а во второй части — 4.

а) Оцените обычную регрессию, воспользовавшись первой частью выборки. Найдите матрицу ковариаций полученных оценок.

б) Используя информацию, полученную на шаге (а), как априорную информацию о математическом ожидании и ковариационной матрице коэффициентов, оцените байесовскую регрессию для второй части выборки.

608 Глава 19. Байесовская регрессия

Таблица 19.1

в) Оцените регрессию, используя все наблюдения. Регрессия должна быть взвешенной, т.е. наблюдения каждой из частей нужно разделить на корень из соответствующей дисперсии. Найдите ковариационную матрицу оценок. Сравните с результатом, полученным на шаге (б). Совпадают ли коэффициенты и ковариационные матрицы?

Задачи

1.Чем отличается байесовская регрессия от обычной регрессии с точки зрения информации о коэффициентах? Приведите формулы для оценки параметров по этим двум регрессиям.

2.Налоговая инспекция считает, что предприятия в среднем недоплачивают налог на прибыль в 80% случаев. Вероятность того, что в ходе проверки некоторого предприятия будет выявлено такое нарушение, равна 40% для предприятия, которое недоплачивает налог, и 10% для предприятия, которое полностью выплачивает налог (ошибочно). Вычислите апостериорную вероятность того, что данное предприятие недоплачивает налог на прибыль, если в ходе проверки не было выявлено нарушений.

3.Студент может либо знать, либо не знать предмет и либо сдать, либо не сдать экзамен по этому предмету. Вероятность того, что студент знает предмет

равна 0.3. Если студент знает предмет, то вероятность того, что он сдаст экзамен, равна 0.9, а если не знает, то 0.6. Какова вероятность, что студент не знает предмет, если он сдал экзамен?

4.Предположим, что исследователь исходит из априорной информации, что коэффициенты регрессии распределены нормально с некоторым математическим ожиданием и ковариационной матрицей, а дисперсия ошибки равна некоторой известной величине. Исследователь получил какие-то данные и вычислил по ним апостериорное распределение. Затем он получил дополнительные данные и использовал прежнее апостериорное распределение как априорное. Можно ли утверждать, что новое апостериорное распределение будет нормальным? Ответ обоснуйте.

5.Случайная величина ξ имеет нормальное распределение с математическим ожиданием µ и дисперсией 16. Априорно известно, что µ имеет распределение N (2, 9). Выборочное среднее по выборке длиной N равно 1. Найдите апостериорное распределение µ в зависимости от N .

6.Чему равна апостериорная оценка параметра, если его априорная оценка имеет нормальное распределение с математическим ожиданием 2 и дисперсией 0.25, а выборочная оценка равна 8 по выборке длиной 10?

7.Априорная оценка параметра имеет нормальное распределение с математическим ожиданием 2 и дисперсией 0.5, а выборочная оценка по выборке длиной 20 равна 2. Запишите плотность распределения апостериорных оценок.

8.Оценка параметра по первой части выборки равна 0 при дисперсии оценки 1, а по второй части выборки она равна 1 при дисперсии 2. Найдите оценку параметра по всей выборке.

9.Оценки регрессии по первой выборке совпадают с оценками по объединению двух выборок. Что можно сказать об оценках по второй выборке? Докажите свое утверждение.

Рекомендуемая литература

1.Зельнер А. Байесовские методы в эконометрии. — М.: «Статистика», 1980. (Гл. 2, 3).

2.Лимер Э. Cатистический анализ неэксперементальных данных. — М.: «Финансы и статистика», 1983.

3.Справочник по прикладной статистике. В 2-х т. Т 2. / Под ред. Э. Ллойда, У. Ледермана. — М.: «Финансы и статистика», 1990. (Гл. 15).

4.Judge G.G., Griffiths W.E., Hill R.C., Luthepohl H., Lee T. Theory and Practice of Econometrics. — New York: John Wiley & Sons, 1985. (Ch. 4).

Глава 20

Дисперсионный анализ

В этой главе продолжается рассмотрение темы, начатой в пункте 4.3. Здесь анализируются модели дисперсионного анализа в общем виде и доказываются некоторые из сделанных ранее утверждений.

Как и прежде, исходная совокупность xi, i = 1, . . . , N сгруппирована по n факторам; j-й фактор может находиться на одном из kj уровней. Регрессионная модель дисперсионного анализа общего вида получается исключением из модели регрессии с фиктивными переменными, полученной в конце пункта 9.1, «обычных» регрессоров:

единицы стоят в строках тех наблюдений, в которых j-й фактор находится на ij -м уровне, остальные элементы равны 0), или, как это следует из структуры Z и β, представленной в пункте 9.1, в покомпонентной записи: