diplom25 / suslov_ibragimov_ekonometrika

где p(D) = %p(D|Mi )p(Mi ),

p(Mi|D) Ñапостериорные(послеопытные)вероятности.

Это соотношение показывает,как априорные знания о предмете меняются в результате получения опытных данных,т.е.как накапливаются знания.

Пример трансформации представлений преподавателя об уровне знаний студента.

M1 Ñстудент знает предмет,

M2 Ñстудент не знает предмет.

Преподаватель имеет априорные оценки вероятностей этих состояний: p(M1) = 0.2,

p(M2) = 0.8.

Наблюдение,опытÑв данном случае это экзамен.Результат опыта: D1 Ñстудент сдал экзамен,

D2 Ñстудент не сдал экзамен.

Правдоподобия преподавателя: p(D1|M1) = 0.9

p(D2|M1) = 0.1 p(D1|M2) = 0.4 p(D2|M1) = 0.6

Пустьстудентсдалэкзамен.Тогдааприорныеоценкипреподавателякорректируются следующим образом:

0.9 á 0.2

p (M1|D1) = 0.9 á 0.2 + 0.4 á 0.8 = 0.36,

0.4 á 0.8

p (M2|D1) = 0.9 á 0.2 + 0.4 á 0.8 = 0.64 .

Если студент не сдал экзамен,то апостериорные вероятности будут такими:

p(M1|D2) = 0.04 ,

p(M2|D2) = 0.96 .

19.1.Оценка параметров байесовской регрессии

Для уравнения регрессии

X = Z α + ε

имеются априорные представления об α и σ,которые выражаются плотностью вероятности совместного распределения (α,σ ).

После эксперимента,результатами которого является выборка в виде вектора X и матрицы Z ,эти представления корректируются.Аналогом(19.2)в данном случае выступает следующее выражение:

где

-

p (X, Z ) = L (X, Z |α,σ ) dαdσ.

α,σ

Поскольку Z не зависит от α и σ ,его можноÇвынести за скобкиÈ:

L (X, Z |α,σ ) = PN (X |Zα,σ 2I )p (Z ) , p(X, Z ) = p(X |Z )p(Z ),

и записать(19.3)в следующем виде:

p (α,σ |X, Z ) = PN (X |Zα,σ 2I )p (α,σ ). p (X |Z )

Поскольку p(X |Z ) не зависит от α и σ ,эту формулу можно записать,используя знак%,который выражает отношениеÇпропорциональноÈ, Çравно с точностью до константыÈ:

Пусть выполнены все гипотезы основноймодели линейной регрессии,включая гипотезу о нормальности.Тогда

Ωa = σ2(Z !Z )−1 Ñматрица ковариации(см. 7.29).

Действительно,

(X − Z α)"(X − Z α) = (X − Z a −Z (α − a))"(X − Z a − Z (α − a)) =

←−−−→

e

= e"e − 2e"Z (α − a) +(α − a)"Z "Z (α − a),

←−−−−−−→

=0

т.к. e и Z ортогональны(см. 7.18).

Теперь предполагается,что σ известна.Тогда

а соотношение(19.4)записывается в более простой форме:

p (α|X, Z ) PN (X |Zα,σ 2I )p(α).

Пусть α априорно распределен нормально с математическим ожиданием αö и ковариацией Ω :

Утверждается,что α апостериорно распределен также нормально с математи-

ø −1 Ω =( A + B) ,

aø = (A + B)−1 (A (α − x) + B (α − y)) =

= (A + B)−1 ((A + B) α − (Ax + By)) = α − (A + B)−1 (Ax + By)

Легко показать,что все эти матрицы одинаковы и равны некоторой матрице C :

(1)= A (A + B)−1 A 0A−1 (A + B) A−1A − I 1 = A(A + B)−1B = (2),

(2)= AWB 0A−1 + B−11AX−1B = AA−1 0A−1 + B−11−1 BB−1 =

=0A−1 + B−11−1 = C,

(3)= BWA 0A−1 + B−11BX−1A = BB−1 0A−1 + B−11A−1A = C = (2),

67

(4) = B(A + B)−1B B−1(A + B)B−1B − I = B(A + B)−1A = (3),

и,следовательно,искомая разность представима в следующей форме:

( ) ( )

Что и требовалось доказать.

велика,то влияние их на апостериорные оценки невелико,и последние определяются вбольшойстепени опытными оценками.В предельном случае,когда Ω → ∞,

т.е.априорная информация совершенно не надежна, a → a, ø → a .

ø Ω Ω

19.2.Объединение двух выборок

В действительности априорная информация может быть также опытной,но полученной в предшествующем опыте.Тогда формулы,полученные в предыдущем пункте показывают,как информация нового опытаÑпо новой выборкеÑкорректирует оценки,полученные в предыдущем опытеÑпо старой выборке.В данном пункте показывается,что в результате применения этих формул получаемая апостериорная оценка в точности равна оценке,которую можно получить по объединенной выборке,включающей старую и новую.

Пусть имеется две выборки:

стараяÑ Z1, X1: X1 = Z1α1 + ε1,

и новаяÑ Z2, X2: X2 = Z2α2 + ε2.

Считается,что σ1 и σ2 известны(как и в предыдущем пункте). Даются оценки параметров по этим двум выборкам:

a1 = (Z !1Z1)−1 Z1! X1, Ωa1 = σ12 (Z1! Z1)−1 ,

a2 = (Z2! Z2)−1 Z2! X2, Ωa2 = σ22 (Z2! Z2)−1 .

В предыдущемпункте первой выборкесоответствовала априорная оценка,второйÑопытная.

Теперь дается оценка параметров по объединенной выборке.При этом наблюдения должны быть приведены к одинаковой дисперсии:

В этой объединенной регрессии остатки имеют дисперсию,равную единице.

Таким образом,оценки по объединенной выборке в терминах предыдущего пункта являются апостериорными.

19.3.Упражнения и задачи

Упражнение1

По данным таблицы19.1:

1.1.Оцените регрессию X по Z и константе,учитывая априорную информацию,что математические ожидания всех коэффициентов регрессии равны 2, а их ковариационная матрицаÑединичная.Считать,что дисперсия ошибки равна 2.

а)Оцените обычнуюрегрессию,воспо льзовавшись первой частью выборки.Найдите матрицу ковариаций полученных оценок.

б)Используяинформацию,полученнуюнашаге(а),какаприорнуюинформацию о математическом ожидании и ковариационной матрице коэффициентов,оцените байесовскую регрессию для второй части выборки.

608 Глава19.Байесовская регрессия

Таблица19.1

взвешенной,т.е.наблюдения каждой из частей нужно разделить на кореньиз соответствующей дисперсии.Найдите ковариационную матрицу оценок.Сравните с результатом,полученным на шаге(б).Совпадают ли коэффициенты и ковариационные матрицы?

Задачи

1.Чем отличается байесовская регре ссия от обычной регрессии с точки зрения информации о коэффициентах?Приведите формулы для оценки параметров по этим двум регрессиям.

2.Налоговая инспекция считает,что предприятия в среднем недоплачивают налог на прибыль в 80%случаев.Вероятность того,что в ходе проверки некоторого предприятия будет выявлено такое нарушение,равна 40%для предприятия,которое недоплачивает налог,и 10%для предприятия,которое полностью выплачивает налог(ошибочно).Вычислите апостериорную вероятность того,что данное предприятие недоплачивает налог на прибыль,если в ходе проверки не было выявлено нарушений.

3.Студент может либо знать,либо не знат ь предмет и либо сдать,либо не сдать экзамен по этому предмету.Вероятность того,что студент знает предмет

равна 0.3.Если студент знает предмет,то вероятность того,что он сдаст экзамен,равна 0.9,а если не знает,то 0.6.Какова вероятность,что студент не знает предмет,если он сдал экзамен?

4.Предположим,что исследователь исходит из априорной информации,что коэффициенты регрессии распределены нормально с некоторым математическим ожиданием и ковариационной матрицей,а дисперсия ошибки равна некоторой известной величине.Исследователь получил какие-то данные и вычислил по ним апостериорное распределение.Затем он получил дополнительные данные и использовал прежнее апостериорное распределение как априорное.Можно ли утверждать,что новое апостериорное распределение будет нормальным?Ответ обоснуйте.

5.Случайная величина ξ имеет нормальное распределение с математическим

6.Чему равна апостериорная оценка па раметра,если его априорная оценка имеет нормальное распределение с математическим ожиданием 2 и дисперсией 0.25,а выборочная оценка равна 8 по выборке длиной 10?

7.Априорная оценка параметра имеет нормальное распределение с математическим ожиданием2и дисперсией 0.5,а выборочная оценка по выборке длиной 20 равна 2.Запишите плотность распределения апостериорных оценок.

8.Оценка параметра по первой части выборки равна 0 при дисперсии оценки 1,а по второй части выборки она равна 1 при дисперсии 2.Найдите оценку параметра по всей выборке.

9.Оценкирегрессиипопервой выборкес овпадают соценками пообъединению двух выборок.Что можно сказать об оценках по второй выборке?Докажите свое утверждение.

Рекомендуемая литература

1.Зельнер А. Байесовские методы в эконометрии. ÑМ.: ÇСтатистикаÈ, 1980. (Гл. 2, 3).

2.Лимер Э. Cатистический анализ неэксперементальных данных. ÑМ.: ÇФинансы и статистикаÈ, 1983.

3.Справочник по прикладной статистике.В2-х т.Т2. /Под ред.Э.Ллойда, У.Ледермана. ÑМ.: ÇФинансы и статистикаÈ, 1990. (Гл. 15).

4.Judge G.G., Griffiths W.E., Hill R.C., Luthepohl H., Lee T. Theory and Practice of Econometrics. Ñ New York: John Wiley & Sons, 1985. (Ch. 4).

Глава20

Дисперсионный анализ

Вэтойглавепродолжаетсярассмотрениетемы,начатойвпункте4.3.Здесьанализируются модели дисперсионного анализа в общем виде и доказываются некоторые из сделанных ранее утверждений.

Как и прежде,исходная совокупность xi , i = 1, . . . , N сгруппирована по n факторам; j -й фактор может находиться на одном из kj уровней.Регрессионная модель дисперсионного анализа общего вида получается исключением из модели регрессиисфиктивнымипеременными,полученнойвконцепункта9.1,ÇобычныхÈ регрессоров: