Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Белорусский национальный технический университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Конспект лекций по математике для студентов инженерно-технических специальностей. В 4 ч. Ч. 4

.pdf

Скачиваний:

Добавлен:

24.11.2025

Размер:

1.02 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 1213 / 1413 14 > Следующая >>>

xi − x

D(b′)= ∑ci2 D(yi )=

D∑ci2

D∑ ci −

i=1

∑(xi − x)

i=1

= D ∑ci2 + ∑ (xi

2 − 2∑ci

2 +

− x)

xi − x + ∑ (xi − x)

i=1

∑n (xi

i=1

∑(xi −

∑n (xi −

−

i=1

(xi −

−

xi −

+ 2∑ci

−

2∑

= D

∑ ci

−

i=1

∑(xi − x)

i=1

∑(xi − x)

i=1

xi −

−

+ ∑ ci

−

+ ∑ci

(xi

i=1

∑

∑(xi − x)

− x)

i=1

Но ∑n (xi −

− это константа, т. е. выражение под этой суммой уже не зависит от

i=1

индекса внешнего суммирования. Тогда

−

(xi

∑ci

−

i=1

∑(xi

−

∑(xi

−

i=1

∑(xi

−

i=1

с учетом условий (21.39). Аналогично

−

xi − x

− x)

− x)2 − (x

− x)2 =

∑

i =1

∑(xi − x)

∑(xi

− x)

i =1

121

∑

(xi − x)

∑ci (xi − x)

− ∑(xi

− x)

∑n (xi −

i=1

2 ∑(xi

∑

(xi

− x) −

− x) = 0 .

∑n (xi −

i=1

−

Поэтому D(b′)=

D∑ ci −

i=1

∑(xi

− x)

∑(xi − x)

i=1

Последний член в полученном выражении является константой. Следовательно, минимизировать D(b′) можно только за счет уменьшения первого члена. Полагая

		x −
ci			x
	= ∑n (xi − x)2 ,
		i
		i=1

мы обратим первый член в нуль (меньше он не может быть) и тем самым

			n
минимизируем D(b′). Но если в формулу b′ = ∑c yi							подставить значения ci , при
			i=1
которых D(b′) минимальна, то альтернативная оценка b′ примет вид
		∑n (xi −			)yi
n		∑n (xi −		x	)yi
b′ = ∑ci yi	=	i=1					,
b′ = ∑ci yi	=	n				2	,

i=1	∑(xi	− x)
	∑(xi	− x)
	i=1

что совпадает с оценкой наименьших квадратов. Поэтому b − линейная несмещенная оценка параметра в с минимальной дисперсией.

122

Интервальные оценки параметров линейной регрессии и кривой регрессии

Построим теперь доверительные интервалы для параметров б и в линейной

регрессии. Так как

y = a + b(x − x)и D(a)= D

D(b)= n

∑(xi −

i=1

то

= M (a + b(x − x))= M (a)+ (x − x)M (b)= б + в(x − x)= y ,

M y

(x −

)2 D

(x −

D y

= D(a + b(x − x))= D(a)+ (x − x)

D(b)=

D .

∑(x −

i=1

D y есть выражение для дисперсии в текущей точке х.

Очевидно, что y − кроме того линейная функция от оценок a и b , которые в свою очередь являются линейными оценками от нормально распределенных наблюдений yi .

Следовательно, y − нормально распределенная случайная величина, и для

нее может быть построен доверительный интервал стандартным образом. То же можно сказать и об оценках коэффициентов регрессии.

Заметим, что a и b независимы друг от друга, так же как независима от них

оценка		например, M (ab).
оценка	D дисперсии D . Это можно доказать, рассмотрев,	например, M (ab).
После	несложных вычислений будет видно, что	M (ab)= K(a,b)= 0 .

123

Следовательно a и b − некоррелированы, а поскольку мы остаемся в рамках гауссовской модели, то и независимы.

В предыдущих разделах было показано, что дробь

nDD ч2− , D = D .

n 1

В нашем случае

D = D =	1 ∑(yi		− y)	=	1 ∑(yi		− a − b(xi	− x)) .
		n	2			n		2

	n i=1				n i=1

Так как на случайные величины yi , входящие в эту формулу, наложены два условия связи вида ∂∂Ra = 0 и ∂∂Rb = 0 , то число степеней свободы уменьшается на

число связей и nD D чn2	−2 .
Составим дроби Стьюдента для a и b . В нашем случае

			D				D
a	N	α,		,	b Nβ,					,
a	N	α,		,	b Nβ,					,
			n			∑n	(xi −		)2
			n			∑n	(xi −	x	)2
						i=1

а по теории

t = z n	, где z N(0,1), v χn2 ,
v

причем в этой дроби под корнем в числителе стоит число степеней свободы случайной величины v . Выберем в качестве стандартной нормальной случайной величины z сначала выражение

a − α	=	(a − α) n	N (0,1),
D n		σ

124

затем

b −β	∑n (xi −		)2 N (0,1).
		x
σ
	i=1

Подставляя эти результаты в дробь Стьюдента, будем иметь

tα =		a − α		= (a − α) n − 2 tn−2 .

	D		D
		n D /		D

Аналогично


	(b −β) ∑n (xi −			)2	n − 2 (b −β) (n − 2)∑n (xi −			)2
tb =			x				x		tn−2 .
	i=1				=	i=1
	D
		n D D				n D

Наконец, получим в явном виде доверительные интервалы для коэффициентов линейной регрессии. P(a − α < ε)=β′ по определению, где β′ –

доверительная вероятность.

	(a − α) n − 2		ε	n − 2		(a − α) n − 2			′
	(a − α) n − 2	<	ε	n − 2		(a − α) n − 2		=	′
P		<			= P		<tβ′	=	P( t < tβ′ )=β ,
	D			D		D

величина tβ′ – может быть найдена из уравнения

2t∫β′ Sn−2 (t)dt =в′.

Тогда

125


ε = tβ′,n−2	D	и	Iα		D		, a + tβ′,n−2
ε = tβ′,n−2	n − 2	и	Iα	= a − tβ′,n−2	n −	2	, a + tβ′,n−2
	n − 2				n −	2


D	.
n − 2

Точно такие же преобразования дают интервал для второго коэффициента

тогда

(b P

Отсюда

P(b −β < ε)=β′,

−β)	n		2	n	2
	n		2	n	2
	∑(xi	− x)		ε∑(xi	− x)	′
		<				′
	i=1			i=1

n D (n − 2)				n D (n − 2)

ε = tβ′,n−2

n − 2

∑n (xi −

i=1

,b + tβ′,n−2 n − 2

и Iβ =

b − tβ′,n−2

n − 2

∑(xi

− x)

∑(xi

− x)

i=1

На	практике часто			возникает	вопрос об оценке отклонения			истинной

прямой	y = α + β(x −		) от	ее оценки	y = a + b(x −		) при некотором	заданном
		x				x

значении х. Особенно важен этот вопрос при построении прогноза. Оценкой точности здесь также может служить интервальная оценка у.

Используя обычные рассуждения, приводящие к t - статистикам, получаем:

126

n D D


				1
	= α + β(x − x)= y,			1
M y		D y	=		+
M y		D y	=		+
			n

Тогда

z = y− y N(0,1), а D y


(x −		)2

	x
					,	y N M y , D y	.
n					,	y N M y , D y	.
∑(x −				)2
∑(x −			x	)2
i=1

t = z n − 2 tn−2 .

В нашем случае дробь Стьюдента равна

n − 2

y− y

− y

t =

n − 2 =

(x −

(x − x)2

n D

∑(x − x)

i=1

			,
= y− y d tn−2			,

P y y

−

Тогда

= P(

< tβ′ )=β′.

< ε

=β′ и P

y− y d

< εd

= P

y− y d

< tβ′

tβ

n(x − x)2

ε =

, I

= t ′

= y− ε, y + ε

β ,n−2 n − 2

∑(x − x)

i=1

для любого конкретного х, так как ε = ε(x). Очевидно, что длина доверительного интервала минимальна в точке x = x . По мере удаления от x точность оценки будет заметно снижаться.

127

y = α + β(x − x)

I (x0 ,в′)


	y = a + b(x −		)
		x
x		x
x

Рис. 21.6. Доверительные интервалы для линейной регрессии

Наименее надежная оценка МНК будет получаться для ординат,

отвечающим точкам, наиболее удаленным от x (рис. 21.6). Вертикальные отрезки на рисунке представляют собой доверительные интервалы в соответствующих точках.

Проверка адекватности линейной регрессии

Проверка адекватности линейной регрессии проводится для оценки точности линейной регрессионной модели.

Основой такой проверки служат взаимные отклонения от установленной

						= a + b(xi −			).
закономерности, т. е.	величины yi	− yi ,	i =1,2,...,n , где		yi	= a + b(xi −		x	).
Поскольку аргумент х	– одномерная	переменная, точки			, yi		можно
Поскольку аргумент х	– одномерная	переменная, точки		xi	, yi	− yi	можно

изобразить на чертеже. Такое наглядное представление наблюдений позволяет иногда обнаружить в поведении остатков какую-либо зависимость от х. Однако визуальный анализ остатков возможен не всегда и не является правилом с контролируемыми свойствами. Нужны точные методы.

Один из таких методов основывается на применении методов дисперсионного анализа к результатам регрессионного анализа. В этом случае

128

общая вариация отклика относительно его среднего распадается на вариацию, обусловленную моделью, и остаточную вариацию, приписываемую случайным ошибкам.

Рассмотрим тождество

yi

	− y = yi	− yi	+ yi	− y .

Возведем его в квадрат и просуммируем по i от единицы до n. Получим

2 n

− y)

∑(yi

= ∑ yi

− yi

+ ∑ yi

− y

+ 2∑ yi

− yi yi

− y .

i=1

Но

= a , тогда

− y = (a + b(xi

= 0

− x))− a = b(xi − x)и ∑ yi

− yi yi

− y

i=1

в силу условия
∂R	n
∂R	n		− x)= 0 .
∂a	= −2∑ yi	− yi (xi	− x)= 0 .
∂a	i=1

Тогда для линейной модели будем иметь следующий вид разложения:

∑n

(yi −

= ∑n

(a + b(xi −

)−

+ ∑n (a + b(xi −

)−

1 )2

(21.40)

i=1

где величина в левой части называется общей вариацией или суммой квадратов относительно среднего, первое слагаемое в правой части – суммой квадратов, обусловленной регрессией или моделью, второе слагаемое – сумма квадратов относительно модели регрессии или сумма квадратов ошибок. Формулу (21.40)

можно переписать в виде R∑ = R0 + Rp . Отношение R2 = Rp R∑ =1 −R0 R∑

129

называется множественным коэффициентом детерминации, а R – множественным коэффициентом корреляции. Они служат для оценки степени точности описания имеющихся данных уравнением регрессии, так как показывают долю разброса

наблюдений

около

среднего значения

, которая

объясняется регрессией.

Величина R2

принимает значения от 0 до 1. Если уравнение регрессии идеально

описывает данные,

− y

для всех

i и поэтому R

= 0 R2 =1. Если β = 0 , то

то y

есть регрессия y на x отсутствует, то

для всех i

и поэтому Rp = 0 R2 = 0.

При отсутствии повторных наблюдений проверяется гипотеза о равенстве коэффициента b нулю (в общем случае – об адекватности предлагаемой модели) с помощью F -критерия. Другими словами проверяется гипотеза о незначимости регрессии, то есть об отсутствии линейной зависимости переменной y от предикторной переменной x. Разность между наблюдениями yi и теоретическими значениями yiT , определяемыми уравнением регрессии, можно записать в виде

+ (a + b(xi

− x)−α + β (xi

− x))=

yi − yi

− yi

= yi

− yi

+ (a −α)+ (b − β)(xi − x).

− yi

Геометрическая интерпретация последнего соотношения представлена на

рис. 21.7. Возведем это равенство в квадрат и просуммируем по

результате получим

n	2	n		2	n
∑(yi	− yiT )	= ∑ yi	− yi		+ n(a − α)2 + (b −β)2 ∑(xi	−		)2 .
∑(yi	− yiT )	= ∑ yi	− yi		+ n(a − α)2 + (b −β)2 ∑(xi	−	x	)2 .
i=1		i=1			i=1

i =1,n . В

(21.41)

130

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 1213 / 1413 14 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]