Добавил:

WarmongeR Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Новосибирский государственный университет

Предмет:

Теория вероятностей и математическая статистика

Файл:

Лекции / Чернова Н.И. Лекции по математической статистике

.pdf

Скачиваний:

158

Добавлен:

07.09.2014

Размер:

1.29 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1718 / 1818

Поэтому

kX − Z

T ^

βk

− kZ

− β)k

= kεk

(35)

βk

= kX − Z

(β

− kZ (β − β)k

Но квадрат нормы kZ

равен квадрату нормы k

√

(β − β)k

A(β − β)k

Оглавление

T T

T √

− β)

β) =

(β − β)k

= (β

ZZ (β − β) = (β − β) A A(β −

√

− β)k

√

−1

= k A(β

= k( A)

Zεk

JJ	II	Осталось заметить, что строки (k×n)-матрицы (√A)−1Z ортогональны:
J	I	(√A)−1Z (√A)−1Z T = (√A)−1ZZT (√A)−1 = Ek,

поэтому k её строк можно дополнить до некоторой ортогональной (n×n)-матрицы C.

На стр. ... из 180

Первые k координат n-мерного вектора Y = Cε/σ совпадают с вектором (√

)−1Zε/σ.

В результате из (35) получим

nσ^2

εi

Во весь экран

kX − ZT β^ k2 = kε/σk2

− k(√A)−1Zε/σk2 = i=1

− Y12 − . . . − Yk2. (36)

σ2

Не забудьте, что вектор ε/σ имеет n-мерное стандартное нормальное распределение. Тогда

вся разность (36) по лемме Фишера имеет распределение χ2 с n−k степенями свободы и

Уйти

не зависит от вычитаемого, т. е. от случайного вектора ε (и от

β тоже, поскольку β есть

функция ε).

Напомним, что E χ2

= n−k. Отсюда и из второго утверждения теоремы получим

n−k

nσ^2

σ2

nσ^2

σ2

E (σ2)

= E

· (n − k) = σ2.

Стр. 171

n−k

σ2

n−k

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 172

Добавления

A.Многомерное нормальное распределение

Определение 33. Пусть случайный вектор ξ = (ξ1, . . . , ξm) имеет вектор средних a = E ξ и

невырожденную матрицу ковариаций Σ, составленную из элементов Σij = cov(ξi, ξj). Говорят,

что вектор ξ имеет нормальное распределение Na,Σ в IRm, если плотность этого вектора равна

fξ(x) =

exp −

(x − a)T Σ−1(x − a) , где x IRm

(√2π)m

det Σ

Квадратичная форма (x − a)T Σ−1(x − a) в показателе экспоненты равна

(x − a)T Σ−1(x − a) =

(37)

(xi − ai) · (Σ−1)ij · (xj − aj).

i,j

Замечание 24. Вектор, составленный из нормальных случайных величин, не обязательно имеет многомерное нормальное распределение. Так, вектор (ξ, cξ) имеет вырожденную матрицу ковариаций 1c cc2 , если D ξ = 1, и не имеет плотности в IR2.

Поэтому в условиях следующей теоремы существование совместной нормальной плотности координат вектора обязательно.

Теорема 14. Пусть вектор ξ имеет многомерное нормальное распределение Na,Σ. Координаты этого вектора независимы тогда и только тогда, когда они некоррелированы, т. е. когда матрица ковариаций Σ диагональна.

Замечание 25. Следовало бы крикнуть «ура!»: свойство, о котором мы давно мечтали,

— чтобы независимость следовала из некоррелированности, — имеет все же место. Но только для наборов случайных величин с нормальным совместным распределением, и это — очередное изумительное качество нормального распределения.

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 173

Доказательство. Только в случае диагональной матрицы Σ с элементами Σii = σ2i = D ξi

квадратичная форма (37) превращается в сумму квадратов
X	Xi	(xi − ai)2
(xi − ai) · (Σ−1)ij · (xj − aj) =		σ2	,
i,j		i
i,j

и многомерная плотность распадается в произведение плотностей координат.

Надеюсь, читатель поверит следующей теореме без доказательства, будучи в состоянии доказать ее, как и в одномерном случае, с помощью многомерных характеристических функций.

Многомерная центральная предельная теорема.

Пусть ξ(1), ξ(2), . . . — последовательность независимых и одинаково распределенных случайных векторов, каждый из которых имеет среднее E ξ(1)=a и невырожденную матрицу ковариаций Σ. Обозначим через Sn = ξ(1)+ . . . +ξ(n) вектор частичных сумм.

Тогда при n → ∞ имеет место слабая сходимость распределений векторов

Sn − na

η, где η имеет распределение N0,Σ.

η(n) =

√

В условиях многомерной ЦПТ распределение любых непрерывных функций g η(n)

слабо

g η

g x

сходится к распределению (

). В качестве

( ) нам будет нужна только

(

) =

Следствие 5. В условиях многомерной ЦПТ имеет место сходимость kη(n)k2 kηk2.

Осталось доказать теорему Пирсона.

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 174

B. Доказательство теоремы Пирсона

План действий:

Сначала покажем, что величина ρ =

(νj − npj)2/npj есть квадрат нормы неко-

j=1

торого вектора η(n) = (Sn − na)/√

в IRkP. Затем убедимся в том, что матрица ковариаций

типичного слагаемого ξ(1) в сумме Sn вырождена, что мешает использовать ЦПТ.

Найдем ортогональное преобразование C, приводящее ξ

(1)

к виду C

(1)

^(1)

= (ξ

, 0),

^(1)

k−1

где вектор ξ

уже имеет невырожденную единичную матрицу ковариаций. В силу

линейности умножения, вектор η(n) тоже перейдет в вектор C · η(n) = (η^(n), 0) с нулевой последней координатой. Но его норма не изменится из-за ортогональности матрицы C.

3. К вектору сумм η^(n) применим многомерную ЦПТ. В пределе получим (k−1)-мерный нормальный вектор с нулевым средним и единичной матрицей ковариаций, т. е. составленный

из независимых величин со стандартным нормальным распределением.

Воспользуемся след-

ствием 5 и тем, что квадрат нормы этого вектора имеет χ2-распределение Hk−1.

Реализация:

1. С каждым элементом выборки Xi свяжем вектор-столбец ξ(i):

I(X

A1) − p1

I(Xi

Ak) − pk

ξ(i) = (ξ1, . . . , ξk) =

, . . . ,

i = 1, 2, . . . , n.

√

Получим n независимых и одинаково распределенных векторов.

Среднее a = E ξ(1)

равно

нулю, поскольку E I(X

A ) = p

для любого j = 1, . . . , k. Далее, ν

I(X

поэтому

(i)

Pi=1

− np

νk

− npk

− na

1 1

, . . . ,

Pi=√1n

√

np1

npk

Найдем матрицу ковариаций вектора ξ(1), составленную из элементов

σij = cov

I(X

Ai) − pi

I(X1

Aj) − pj

· (E I(X1 Ai)·I(X1 Aj)−pipj =

√

pipj

p − pipj,

если i = j,

1 − pi,

если i = j,

= √

0i− pipj,

если i = j

= −√pipj,

если i = j.

pipj

Вырождена эта матрица хотя бы оттого, что координаты вектора ξ(1) линейно связаны:

Оглавление

√

ξj =

I(X1 Aj) −

pj = 1 − 1 = 0.

(38)

j=1

		2.	Из (38) мораль:	если последняя строка ортогональной матрицы C будет иметь вид
JJ	II	(√p1, . . . , √pk ) (что вполне возможно — норма такой строки равна единице), то после умно-
		жения C на ξ(1) получим вектор с нулевой последней координатой — в точности (38).
J	I	При умножении вектора ξ на матрицу C слева его матрица ковариаций Σ = E ξξT перейдет
		в B = CΣCT . Убедимся, что, какой бы ни была ортогональная матрица C, в результате получим
На стр. ...	из 180	диагональную матрицу из нулей с единицами на главной диагонали, кроме элемента bkk = 0.
		Ортогональность C означает, что для любых m 6= k и l 6= m имеют место равенства
Назад
			k	k	k		k
			Xcmjckj = Xcmj√pj = 0,		Xcmj2	= 1,	Xcmjclj = 0.

Во весь экран

j=1

Учитывая, что il-й элемент матрицы CT

есть cli, получим

bml =

cmjσji cli =

−cmj√

+ cmi(1 − pi) cli =

Уйти

pipj

Xj6

i=1

j=1

i=1

√

−cmj√

− cmi√

+ cmi cli = k

cmi, m 6= k

cli

Стр. 175

Xj6

· 0, m = k

i=1

0, m = k или m 6= l

i=1

(39)

1, m 6= k, m = l

Ek−1

0 .

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 176

3. Осталось повторить то, что мы уже описали в плане: умножение	C · ξ	(1)	^(1)
			= (ξ	, 0)

приводит к вектору с нулевой последней координатой по (38). Равенствами (39) мы показали,

^(1)

k−1

имеет невырожденную единичную матрицу ковариаций E

. Векто-

вектор ξ

что (1)

(2)

k−1

(1)

независимы, одинаково распределены, имеют нулевое среднее C · E ξ

= 0.

ра ξ

, ξ , . . .

Все условия многомерной ЦПТ выполнены, поэтому

^(1)

^(n)

η^(n)

+ . . . + ξ

η, где η имеет распределение N0,Ek−1 .

√

(n)

По следствию 5, норма вектора η^

слабо сходится к норме вектора η, состоящего, согласно

теореме 14, из независимых случайных величин со стандартным нормальным распределением:

		k−1
kη^(n)k2		Xi
kη^(n)k2	kηk2 =	ηi2 = χk2−1, где χk2−1 имеет распределение Hk−1.	(40)
		=1

Распределение Hk−1 возникло здесь по определению 16. Осталось заметить, что у векторов η(n), C · η(n), η^(n), связанных равенствами

C · η(n) = C · ξ(1) + √. . . + C · ξ(n) = (η^(n), 0), n

нормы одинаковы в силу (17): kη(n)k2 = kC · η(n)k2 = k(η^(n), 0)k2 = kη^(n)k2. И все эти нормы ведут себя так же как и (40).

Упражнение. Найти среди этих норм величину ρ из теоремы Пирсона.

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 177

Указатель терминов

Аппроксимация Фишера, 112 Асимптотическая нормальность оценки, 53

Асимптотический подход к сравнению оценок, 61

Байесовский критерий, 121, 126, 128 Борелевская функция, 30

Вариационный ряд, 11 Вероятность ошибки i-го рода, 115 Выборка, 7 Выборочная дисперсия, 8, 14

несмещенная, 14 Выборочная медиана, 163 Выборочное распределение, 8 Выборочное среднее, 8, 14

Выборочный коэффициент корреляции, 164 Выборочный момент, 8, 14

Гамма-распределение, 93 Гипотеза, 113

альтернативная, 113 независимости, 114, 147 однородности, 114, 146 основная, 113 простая, 113 сложная, 113

Гистограмма, 12 Гливенко — Кантелли теорема, 16, 137

Группировка наблюдений, 12, 25, 138

Доверительный интервал, 81 асимптотически точный, 82

асимптотический, 81 для параметров нормального распределения,

85, 110, 111 точный, 82

Индикатор события, 10 Информация Фишера, 67

Квантиль, 84 Класс оценок K0, 48

Kb(θ), 48

Ковариационная матрица, 169, 172 Колмогорова

критерий, 136 распределение, 17, 137 теорема, 17, 137

Колмогорова — Смирнова критерий, 146 Корреляции коэффициент выборочный, 164 Коши распределение, 99 Критерий, 115

байесовский, 121, 126, 128 Колмогорова, 136 Колмогорова — Смирнова, 146 минимаксный, 120, 126, 128

наиболее мощный, 122, 126, 128 нерандомизированный, 115 отношения правдоподобия, 125, 127 рандомизированный, 125 Стьюдента, 154 согласия, 134

Фишера, 149 χ2 Пирсона, 138

для проверки независимости, 147 проверка сложной гипотезы, 143

Критическая область, 117

Оглавление		Лемма
		Лемма
		Неймана — Пирсона, 126, 128
		Фишера, 105
		Линейная регрессия, 163, 165
JJ	II	Линия регрессии, 159
JJ	II	Логарифмическая функция правдоподобия, 39
		Логарифмическая функция правдоподобия, 39
J	I	Матрица
		ковариаций, 169, 172
На стр. ...	из 180	ортогональная, 102
		плана, 165
Назад		положительно определенная, 166
		Метод
Во весь экран		максимального правдоподобия, 38
Во весь экран		оценка параметров регрессии, 160
		оценка параметров регрессии, 160
		моментов, 32
		наименьших квадратов, 161
		Минимаксный критерий, 120, 126, 128
Уйти		МНК-оценка, 161
		Многомерная ЦПТ, 173
		Многомерное нормальное распределение, 172
		Мощность критерия, 117

Наиболее мощный критерий, 122, 126, 128 Стр. 178 Наименьших квадратов метод, 161

Неймана — Пирсона лемма, 126, 128

Неравенство Рао — Крамера для несмещенных оценок, 67 для смещенных оценок, 68

Несмещенность оценки, 30 Норма вектора, 166 Нормальное уравнение, 168

Носитель семейства распределений, 63

Отношение правдоподобия, 124 Оценка, 30

асимптотически нормальная, 53 максимального правдоподобия, 40 метода моментов, 32 метода наименьших квадратов, 161 несмещенная, 30 состоятельная, 30

сравнение в асимптотическом смысле, 61 сравнение в среднеквадратичном, 47 эффективная, 49, 63

R-эффективная, 72 Ошибка i-го рода, 115 Ошибки регрессии, 159

Параметр, 28 Параметрическое семейство распределений, 28 Пирсона теорема, 139 Плотность распределения

относительно меры Лебега, 38 относительно считающей меры, 38

Порядковая статистика, 11

Размер критерия, 117

		Ранг матрицы, 166
		Рао — Крамера неравенство, 67, 68
		Распределение
		выборочное, 8
		гамма, 93
Оглавление		Колмогорова, 17, 137
		Коши, 99
		многомерное нормальное, 172
		Стьюдента Tk, 98
JJ	II	Фишера Fk,m, 101, 149
JJ	II	Фишера — Снедекора, 101
J	I	χ2 Пирсона, Hk, 95
J	I	эмпирическое, 8
		Регрессии уравнение, 159
На стр. ...	из 180	Регрессия линейная, 163, 165
		Регулярность семейства распределений, 64

	Назад	Состоятельность
	Назад

		выборочных характеристик, 15
	Во весь экран	выборочных характеристик, 15
	Во весь экран	критерия, 135
		критерия, 135
		оценки, 30
		Сравнение критериев
		байесовский подход, 120
		минимаксный подход, 120
	Уйти	минимаксный подход, 120
	Уйти	Сравнение оценок


		асимптотический подход, 61
		среднеквадратический подход, 47
		Статистика, 30
		порядковая, 11
	Стр. 179	Стьюдента
		критерий, 154

распределение, 98 Стэрджесса формула, 13 Считающая мера, 39

Теорема Гливенко — Кантелли, 16, 137

Колмогорова, 17, 137 Пирсона, 139 ЦПТ для векторов, 173

Уравнение регрессии, 159 Уровень доверия, 81

асимптотический, 81 Уровень значимости критерия, 117 Условие регулярности, 64

Факторы регрессии, 158 Фишера

критерий, 149 лемма, 105

распределение, 101, 149 Фишера — Снедекора распределение, 101 Формула Стэрджесса, 13 Функция борелевская, 30 Функция правдоподобия, 39

логарифмическая, 39

χ2 критерий, 138 для проверки независимости, 147

для проверки сложной гипотезы, 143 χ2 распределение, 95

Эмпирическая функция распределения, 8, 10 Эмпирическое распределение, 8 Эффективная оценка, 49

Оглавление

На стр. ... из 180

Во весь экран

Уйти

Стр. 180

Литература

[1]Боровков А.А. Математическая статистика. М.: Наука, 1984.

[2]Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, Т.2, 1984.

[3]Коршунов Д.А., Чернова Н.И. Сборник задач и упражнений по математической статистике. Новосибирск: Изд-во Института математики им. С.Л.Соболева СО РАН, 2001.

[4]Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1965.

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1718 / 1818

Соседние файлы в папке Лекции

#
07.09.201424.6 Mб42Лекции матстат от Миши.compressed.pdf
#
07.09.20141.29 Mб158Чернова Н.И. Лекции по математической статистике.pdf
#
07.09.20141.14 Mб251Чернова Н.И. Теория вероятностей.pdf