Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Белорусский национальный технический университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Учебно-методическое пособие к лабораторной работе N2 Установление зависимости между двумя случайными величинами по результатам их выборок

.pdf

Скачиваний:

Добавлен:

30.11.2025

Размер:

1.36 Mб

Скачать

☆

<<< < Предыдущая 1 2 34 / 64 5 6 > Следующая >>>

внешние случайные воздействия приводят к разбросу данных. Тем не менее если все же предположить существование линейной связи и наличие неограниченной выборки, то можно подобрать такие значения α и β, которые помогут предсказать ожидаемое значение Y для любого значения x. Следовательно, значение ˆy не обязательно совпадает с наблюдаемым значе-

нием Y, соответствующим данному x, однако оно будет равно среднему значению всех таких наблюдаемых значений.

Таким образом, на втором этапе исследования перед нами стоит задача: используя метод наименьших квадратов получить расчетные формулы для оценки параметров А и b прямолинейной регрессии.

Замечание. При изложении регрессионного анализа, как вы успели заметить, встает проблема в обозначениях: x или X, y или Y и др. Как и ранее, когда речь идет о вычислительных процедурах, обработке данных, линиях регрессии, изучении функциональной зависимости мы, обозначаем переменные через x, y, ˆy . Например,

ˆy =α + β( x − x ) .

Если же нужно провести статистический анализ этого соотношения,

ˆ = ˆ + ˆ −

то запишем так Y A b( X X ) , т.е. как зависимость между

случайными величинами. При изложении материала мы не оговариваем каждый раз, какие обозначения применяются, но надеемся, что из контекста это совершенно ясно.

3.3. Определение параметров прямолинейной регрессии методом наименьших квадратов

Суть	метода наименьших квадратов состоит в				том, что
оценки	ˆ	ˆ
	A	и b параметров А и b в предлагаемой линии рег-
рессии	f ( x, A,b ) = A +b( x −			) подбирают таким	образом,
			x
чтобы минимизировать сумму квадратов отклонений:
					31

n	n
S( A,b ) = ∑εi2	= ∑[ yi − A −b( xi −	x	)] 2 .
i=1	i=1

Данная функция принимает минимальное значение в точке, где обе частные производные обращаются в ноль:

∂S	= 0,	∂S	= 0 .
∂A		∂b

После дифференцирования получим:

	∂S		n
		= −2∑[ yi − A −b( xi −				x	)] = 0,
	∂A		i=1
∂S	∂A	n	i=1
	= −2∑( xi −				)[ yi − A −b( xi −				)] = 0.
	= −2∑( xi −			x	)[ yi − A −b( xi −			x	)] = 0.
∂b		i=1
∂b		i=1

После несложных преобразований имеем систему двух линейных уравнений:

An +b∑( xi −

) = ∑yi ,

i=1

i−1

A∑( xi −

) +b∑( xi −

)2 = ∑( xi −

)yi .

i=1

Решив ее, получим искомые оценки A

и b :

∑( xi −

)( yi −

)

i=1

A = y =

∑yi ; b =

n i=1

∑( xi −

i=1

Данныеоценкиобладаютследующимиважнымисвойствами:

1.	ˆ		ˆ
1.	M ( A ) = A, M ( b ) = b .
2.	ˆ	2	ˆ	2		n
2.	D( A ) =σ		/ n, D( b ) =σ			∑( xi −
					i=1
3.	C( A,b ) = 0 .

x )2 −1 .

ˆˆ

4.Случайные величины A и b распределены по нормальному закону.

ˆˆ

5.A и b независимы как случайные величины.

Доказательствам утверждений 1 – 3 могут быть получены прямыми вычислениями, причем эти свойства не обязательно предполагают нормальный характер ошибок. Свойство 4 верно только в рассматриваемой нами Гауссовской модели. Свойство 5 есть естественное следствие нормальности ошибок и свойства 3 (если случайные величины, имеющие нулевой коэффициент ковариации, равны нулю, то они независи-

мы). Независимость оценок ˆ и ˆ заметно упрощает даль-

A b

нейший анализ.

Замечания 1. Полученные формулы для оценок ˆ и ˆ легко

A b

преобразовать к виду, более удобному для вычислений и анализа:

−

A = y

∑yi ,

b =

, где

x =

∑xi ,

n i=1

σx

n i =1

∑xi2

∑yi ,

∑xi yi , σx2

i=1

− (

)2 = x2 −(

)2 .

n i=1

i=1

2. Уравнение регрессии Y на X записывается в виде

ˆ = + ˆ −

y y b( x x ).

Если X и Y – случайные величины, то, поменяв в наших выкладках местами X и Y, получим прямую регрессию X на Y:

( y − y ).

ˆx = x +b1

∑yi2

xy − x

i=1

где

, σy

− (y)

= y

−(y) .

Как видно, обе прямые регрессии проходят через точку ( x, y ). Угловые коэффициенты наклона прямых связаны с выборочным

коэффициентом			корреляции соотношением		rXY =	ˆ ˆ	. Если
коэффициентом			корреляции соотношением		rXY =	b b1	. Если
	ˆ		2				ˆ
	b		σx				ˆ
учесть, что		=	2	, то можно получить выражение для оценок b
учесть, что	ˆ	=	2	, то можно получить выражение для оценок b
	b1		σy

и ˆ через выборочный коэффициент корреляции и выборочные b1

дисперсии

ˆ	σ y		ˆ		σx		rXY .
b =			rXY , b1	=	σ
	σ	x				y

Часто эти оценки называют выборочными коэффициентами регрессии Y на X и X на Y соответственно и обозначают ρ Y / X и

ρ X / Y , т.е.

ˆ	σ y		ˆ		σx
ρ Y / X = b =			rXY , ρ X / Y = b1	=	σ		rXY .
	σ	x				y

3. Легко увидеть, что прямые регрессии Y на X и X на Y совпадают только в том случае, если | rXY | =1, т.е. X и Y связаны линейной

зависимостью. Действительно, оба уравнения в этом случае преоб-

разовываются к виду

y −

x −

σy

σx

3.4. Доверительные интервалы для параметров

линейной регрессии

Свойства 1 – 4 оценок

и b параметров линейной регрес-

сии показывают, что случайные величины

A и

b распределе-

ны по нормальному закону, причем

σ 2

A N A,

, b N

∑( xi

−

где

i=1

σ 2

D( A ) =σ ˆ

, D( b )

=σˆ =

∑( xi −

i=1

= b .

M ( A )

= A, M ( b )

Это дает возможность применить к построению доверительных интервалов ту же методику, что и для оценок неизвестного математического ожидания.

Если дисперсия ошибок эксперимента σ2 – известна (что бывает крайне редко, и этот случай представляет собой больше теоретический интерес), то рассматриваем случайные величины

			ˆ				ˆ
	u ˆ =		A − A	, uˆ =			b −b		,
	u ˆ =		σ ˆ	, uˆ =					,
	A		σ ˆ		b		σˆ
			A					b
которые имеют нормальное распределение N(0;1). Для данно-
го уровня значимости α получаем:							P(\|u \|<u1−α / 2 ) =1−α . Из
последнего соотношения находим						u1−α / 2 –				квантиль нор-
мального распределения, тогда
	ˆ				ˆ
	\| A − A\|	<u		,	\| b −b \|			<u		.
		<u		,				<u		.
	σ ˆ		1−α / 2		σˆ				1−α / 2
	σ ˆ				σˆ
	A				b

При этом доверительные интервалы будут следующими:

ˆ	σ	ˆ	σ
A −	n u1−α / 2	< A < A +	n u1−α / 2	,

ˆ	σ	ˆ	σ	u1−α / 2
b −	n	u1−α / 2 <b <b +	n	u1−α / 2
	∑( xi − x )2		∑( xi − x )2
	i=1		i=1

Пусть теперь σ 2 – неизвестная величина, что чаще бывает на практике. В таком случае необходимо воспользоваться оценкой σˆ 2 . Ключ к оцениванию σ 2 дает остаточная сумма квадратов:

n		n	− ˆ		n	− ˆ − ˆ
2	=	∑( yi	− ˆ	2 =	∑[yi	− ˆ − ˆ	−	x )]	2
∑ei		∑( yi	yi )		∑[yi	A b( xi		x )]
i=1		i=1			i=1

Можно доказать, что в рассматриваемой нами Гауссовской

модели эта сумма не зависит от ˆ и ˆ и имеет распределение

A b

σ 2 χn2−2 , где χn2−2 – распределение хи-квадрат с n – 2 степеня-

ми свободы. Благодаря этому свойству для σ 2

можно постро-

ить несмещенную оценку

S yx :

S yx

∑[yi

− A

−b( xi − x )]

n −2 i=1

Поскольку

не зависит от

то статистики

Syx

b ,

t ˆ =

(x − x)2

n A − A

t ˆ = b

−b

∑

имеют распреде-

Syx

i =1

ление Стьюдента с n – 2 степенями свободы. Тогда для данного уровня значимости α и по числу степеней свободы n – 2 по таблицам квантилей распределения Стьюдента находим кван-

тиль порядка 1− α	, т.е. t		.
2		1−α / 2		ˆ		ˆ
Доверительные интервалы для				ˆ		ˆ
Доверительные интервалы для				A		и b запишутся в той же
форме, что и при известном σ 2 :
ˆ		S yx		ˆ		S yx
A	−	n t1−α / 2	< A <	A	+	n t1−α / 2 ,
ˆ	S yx			ˆ		S yx
b −	n σx t1−α / 2		< b < b +			n σx	t1−α / 2

Замечание. Полученные выражения для доверительных интервалов можно записать в другой форме. Путем несложных преобра-

ˆ	σy	ˆ

зований и, с учетом того, что b =	σ	rXY , A = y , остаточная сумма

квадратов запишется в виде

n	n
∑ei2 =∑( yi − ˆyi )2
i=1	i=1

n	ˆ	ˆ	2	2	2

=∑[yi − A −b( xi − x )]				= n σ y	(1−rXY ) .

i=1

Тогда	S	yx	=σ	y	n	(1−r 2	)	. Кроме того, так как
		yx		y	n−2	XY
					n				n
	σ x =			1	∑( xi − x )2			, σ y =	1 ∑( yi − y )2 ,
				n i=1					n i=1

то доверительные интервалы имеют вид

ˆ−σ

ˆ−σ b σ

	1−r 2	ˆ		1−r 2
	XY	ˆ		XY
y	n −2	t1−α / 2 < A < A +σy		n −2	t1−α / 2
y	1−r 2	ˆ	σy	1−r 2	t1−α / 2
	XY	ˆ	+ σx	XY
x	n −2	t1−α / 2 <b <b	+ σx	n −2

, (3.2)

. (3.3)

Последние формулы наиболее удобны для вычислений.

Пример. Определить по данным, приведенным в п. 1.2, прямую регрессии, задающую линейный прогноз средней массы студента по его росту. Найти 95%-й доверительный интервал для параметров прямой регрессии.

Решение. С учетом вычислений, проделанных в п. 1.2 имеем, учитывая, что n = 25, α = 0,05:

ˆ	ˆ	344493 − 25 179,4 76,64

A = y = 76,64,	b =		= 0,51 .
		806105 − 25 179,42

Следовательно, прямая регрессии, оценивающая среднюю массу студента по его росту, имеет вид

ˆy = 76,64 +0,51 ( x −179,4 ) .

Для построения доверительных интервалов оценок

и b

вычислим:

−(

806105

σx =

−(179,4 )2

= 7,736 ,

−(

148918

σ y =

y 2

−( 76,64 )2

= 9,1121,

=σ

(1−r 2 =8,5763.

n−2

Квантиль распределения Стьюдента с числом степеней

свободы	α , равен t
n – 2 = 23, порядка 1 −	α , равен t		= 2,069 .
	2	1−α / 2
	2

После подстановки в формулы (3.2) и (3.3)получим довери-

тельные интервалы 73,0899 < A < 80,190, 0,0511 < b < 0,9689.

4. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

При решении инженерных задач часто требуется найти зависимость между случайной величиной η и переменными ве-

личинами ξ1, ξ2 ,..., ξm , значения которых x1, x2 ,..., xm зада-

ются заранее при планировании эксперимента. Однако при проведении n экспериментов значения

x1 j ,x2 j ,...,xmj ( j =1,n )

обычно измеряются с некоторыми малыми ошибками (погрешности приборов и др.).

Так как переменные xi не коррелированы с ошибками измерений, то для получения зависимости между xi и у, где у – значение случайной величины η , можно использовать обыч-

ный метод наименьших квадратов, как при рассмотрении случая линейной регрессии двумерного случайного вектора.

Заметим, что переменная η является случайной величиной,

так как при проведении эксперимента невозможно учесть все факторы в том числе ошибки измерений, оказывающие влияние на эту переменную,

При исследовании взаимосвязи между случайной величиной η и переменными ξ1 ,ξ2 ,...,ξm обычно рассматриваются

следующие вопросы:

–выбор модели регрессии;

–нахождение оценок этих параметров выбранного у и построение доверительных интервалов параметров уравнения по заданному уровню значимости α ;

–проверка согласованности выбранноймодели с экспериментальнымиданнымииуточнениевидаполученногоуравнения.

Выбор модели регрессии производится обычно с учетом эмпирических аспектов. Эту задачу подробно рассматривать не будем ввиду ее сложности.

Проанализируем следующие вопросы:

–построение линейного уравнения регрессии и доверительных интервалов для его параметров;

–проверка согласованности полученной модели с экспериментальными данными наиболее простыми способами.

4.1 Нахождение оценок параметров линейного уравнения регрессии

Ограничимся построением линейного уравнения регрессии:

η =α0* +α1*ξ1 +α2*ξ2 +...+αm* ξm ,

<<< < Предыдущая 1 2 34 / 64 5 6 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]