1.5. Общая постановка задачи линейного оценивания параметров

Задача линейного оценивания неизвестных параметров с мини-мальной дисперсией приведена во многих источниках [2, 3, 4, 5].Чтобы было проще осознать ее постановку, рассмотрим сначала простейший пример.

Пусть имеется ящик с большим количеством однотипных весов. Каждые весы имеют свою конкретную ошибку измерения. Заранее все ошибки были определены с помощью эталонных измерений, и выяснилось, что средняя ошибка всех весов равна нулю, а средний

квадрат ошибок равен σ² . Взвешивается на случайно выбранных из ящика весах некоторое тело. Чтобы уменьшить ошибку опреде-ления веса P тела, взвешивание производится на n независимо слу-чайно выбранных весах. Если использовать выражение для оценки

ˆ	1 n
веса P =		∑Pi , где	Pi	– результаты взвешивания на выбранных
	n i−1
			2	ˆ	σ2
весах, то дисперсия			σ	[P] =	n	оценки уменьшается с увеличени-

ем n и стремится к нулю при n стремящемся к бесконечности. Та-ким образом, использование многих измерений уменьшает ошибку определения требуемой величины P .

Рассмотрим более общую задачу. Имеется некоторый объект, который описывается уравнением

y = β1 x1 + β 2 x2 + ... +βp xp ,

(1.5.1)

16

где y зависит от переменных x₁ , x₂ ,..., x_p , которые изменяются со

временем, но их значения в каждый момент времени известны (на-пример, устанавливаются экспериментатором), величины β₁ ,β₂ ,...,β_p , называемые коэффициентами регрессии, неизвестны.

Требуется следить за переменной y (ее называют значением по-

верхности отклика), которая меняется со временем.

Для достижения цели следует найти значения коэффициентов β₁ ,β₂ ,...,β_p . Это можно сделать, если при различных значениях ар-

гументов x₁ , x₂ ,..., x_p (эти аргументы часто называют факторами) определить значения переменной y , т.е. подготовить невырожден-ную систему линейных уравнений

yi = β1 xi 1 + β 2 xi 2 + ... + β p xip , i = 1, 2, …, p ,

(1.5.2)

где x_i1 , x_{i 2} ,..., x_ip – установленные значения переменных x₁ , x₂ ,..., x_p

в эксперименте с номером i , y_i – значение отклика в эксперименте с номером i .

Решив систему (1.5.2)		относительно	β1 ,β2 ,...,βp ,	получим воз-
можность	определять	значение	отклика	при	любых
i = 1, 2, … , n (n > p) .

Однако измерить величины y_i , входящие в систему (1.5.2), без ошибок часто не удается. Поэтому результаты измерений η_i будут

отличаться от yi , т.е.
ηi = yi + εi ,	(1.5.3)

где ε_i – ошибки измерений.

Выражение (1.5.3) совместно со сведениями о свойствах ошибок ε_i составляют модель измерения.

Приведем наиболее распространенные сведения о свойствах ошибок ε_i , которые используют на практике. Они заключаются в

том, что ε_i объявляются независимыми случайными величинами (в данном разделе достаточно считать ε_i некоррелированными),

17

имеющими нулевые математические ожидания и одинаковые дис-персии σ²[ε] .

Обычно стараются провести большое число n экспериментов (n >> p) и с максимальной точностью оценить коэффициенты

β1 ,β2 ,...,βp , т.е. в соотношениях (1.5.2) индекс i							изменяется от 1 до
n .
	Для			неизвестных		β1 ,β2 ,...,βp используют	линейные оценки
βˆ	,βˆ	2	,...,βˆ		:
1				p
					βˆ j	n
						= ∑c ji ηi , j = 1, 2, … , p ,	(1.5.4)

i=1

где c_ji – постоянные коэффициенты, значения которых определяют

конкретный вид линейных оценок. Если ввести матричные обозначения:

η – вектор с составляющими η_i , i =1, 2,..., n (вектор результатов наблюдения или просто вектор наблюдения);

ε – вектор с составляющими ε_i = 1, 2,…, n (вектор ошибок из-мерений);

Y – вектор с составляющими y_i = 1, 2,…, n (вектор измеряемых величин);

β – вектор с составляющими β₁ ,β₂ ,...,β_p (вектор коэффициентов регрессии);

β^ˆ – вектор с составляющими β^ˆ₁ ,β^ˆ₂ ,...,β^ˆ _p (вектор оценок коэф-

фициентов регрессии);

X ^Т – матрица с элементами x_ij , i = 1, 2,… , n, j = 1, 2,…, p (мат-рица значений аргументов x_ij , i = 1, 2,… , n, j = 1, 2,…, p , называе-мая матрицей плана); Т – символ транспонирования;

C – матрица с элементамиc_ji , можно записать матричные соот-ношения:

η = Y + ε , Y = X Т β , η = X Тβ + ε, βˆ = Cη .

(1.5.5)

18

Задача заключается в том, чтобы найти несмещенные линейные

оценки βˆ	,βˆ	,...,βˆ	p	для коэффициентов β ,β		2	,...,β	p	, имеющие мини-
1	2				1
мальные дисперсии. Эта задача разделяется на								p автономных за-
дач. Для каждого значения индекса					j требуется найти набор кон-
стант c j 1 , c j 2 ,..., cjn , определяющих оценку							βˆ j ,	удовлетворяющую
условию	несмещенности M[βˆ j ] = βj				и имеющую наименьшую

n

дисперсию σ² [β^ˆ _j ] = σ² [ε]∑c ²_ji .

i=1

Поскольку имеет место равенство (1.5.2), то условие несмещен-ности оценки β^ˆ _j можно записать в виде

M [βˆ	n			n		p		p	n
	j ] = M [∑ c ji ηi ] = M [∑ c ji ∑ βν xiν ] = M [∑ βν ( ∑c ji xiν )] =βj .
	i =1			i=1		ν =1		ν =1	i=1
Из последнего выражения следует, что
		n
		∑c ji xiν		= δjν		,			(1.5.6)
		i=1
где δjν =1 при		j =ν	и δjν		= 0 , если		j ≠ν .
Соотношения		(1.5.6) и			являются		условиями		несмещенности
(всего p условий) оценок βˆ j					. Например, для			j =1 они имеют вид
		c11 x11 + c12 x21 + ... + c1 n xn1 =1,
		c11 x12 + c12 x22 + ... + c1n xn2 = 0,
		……………………………...,
		c11 x1 p + c12 x2 p + ... + c1 n xnp						= 0.
				σ2 [βˆ			n
Поэтому минимизация						j ] = σ2 [ε]∑c2ji		является задачей на
			p				i=1
условный экстремум с				ограничениями (5.6). Ее решение может
быть	осуществлено		методом неопределенных множителей

λ_{j 1} , λ_{j 2} ,..., λ_jp Лагранжа, для чего образуется функция

19

Фj ( c ji , λj 1 , λj 2 ,..., λjp ) = σ 2 [βˆ	n	n
	j ] = σ 2 [ε]∑ c 2ji	+ λ jν (∑c ji xiν −δjν ) ,
	i =1	i=1

частные производные от которой по аргументам c_ji , λ_{j 1} , λ_{j 2} ,..., λ_jp

полагаются равными нулю, и затем находятся оптимальные значе-ния констант c _{j 1} , c _{j 2} ,..., c_jn . Всю совокупность множителей

λ_{j 1} , λ_{j 2} ,..., λ_jp (для вех задач с номерами ј ) можно рассматривать

как матрицуλ . Поэтому проще применить матричные обозначения и рассмотреть систему матричных уравнений:

2σ² [ε]C + λX = 0,

(1.5.7)

CX ^Т = E,

где E – единичная матрица.

Уравнения (1.5.7) получаются путем дифференцирования функ-ций Ф_j по аргументам c_ji , λ_{j 1} , λ_{j 2} ,..., λ_jp и приравниванием произ-

водных нулю.					λ и C .
Система (1.5.7) легко решается относительно матриц
Умножим первое из уравнений (1.5.7) на матрицу X Т					справа и
воспользуемся	вторым	уравнением	(1.5.7),		получим
2σ2[ε]E = −λXX Т ,	откуда	λ = −2σ2[ε]( XX Т )−1 .	После подстановки
найденной матрицы λ в первое из уравнений (1.5.7)				получается
выражение для матрицы C :
C = ( XX Т )−1 X .				(1.5.8)

Вектор оценок коэффициентов регрессии вычисляется по фор-

муле
βˆ = ( XX Т )−1 Xη.	(1.5.9)

Выражения (1.5.8), (1.5.9) являются решением задачи оптималь-ного линейного несмещенного оценивания величинβ₁ ,β₂ ,...,β_p .

Учитывая,	что	ковариационная матрица вектора η имеет вид
Kη = σ2 [ε]E	и	XX Т является симметричной, нетрудно на основе

формул (1.5.8), (1.5.9) получить выражение для ковариационной матрицы K_βˆ вектора β^ˆ :

20

K ˆ = ( XX Т )−1 Xσ2 [ε] E (( XX Т ) −1 X )Т = σ2 [ε]( XX Т )−1 .

(1.5.10)

β

При получении формулы (1.5.10) учитывались:

• свойство симметрии обратной матрицы, если исходная матрица является симметричной;

• формула	вычисления [2]	ковариационной матрицы
Kψ = AK ξ AT случайного вектора ψ , полученного путем
линейного преобразования		ψ = Aξ другого случайного
вектора ξ	с ковариационной матрицей Kξ .

Если описание поверхности отклика имеет вид

y = ∑p	βj f j ( x1 , x2 ,..., xk ) ,	(1.5.11)
j =1

где f _j ( x₁ , x₂ ,..., x_k ) – известные функции (называемые координат-ными), β_j – неизвестные коэффициенты, подлежащие определе-

нию по экспериментальным данным, и справедливо выражение

(1.5.3), то в формулах (1.5.8), (1.5.9), (1.5.10) следует вместо матри-

цы X ^Т использовать матрицу F ^Т , элементами которой являются значения координатных функций в экспериментах с номерами i (i = 1, 2,…, n) , т.е.

	βˆ = (FF Т )−1 Fη .																				(1.5.12)
Например,	пусть y = β x x 3 x 2						+β			2	x x ,			т.е. f		= x x 3 x2			,	f	2	= x x ,
			1	1	2	3					1	2			1	1	2	3				1	2
и в первом эксперименте				x1 = 2, x2 = 1, x3 = 4 , во втором экспери-
менте x1 = 1, x2	= 1, x3 = 2 , в третьем эксперименте x1 =1, x2																			= 1, x3 =1 .
Тогда матрица F Т равна
				2 *13 * 42 ;2*1										32;2
	F	Т			3			2							4;1
			= 1*1 * 2						;1*1				=			.
					3		2		;1*1						1;1
			1*1 *1

Следует заметить, что описание поверхности отклика в задаче линейного оценивания считается известным, но не выбирается при обработке экспериментальных данных.

21

Контрольные вопросы

1. Что такое статический объект?

2. Как формулируется общая задача математического про-граммирования?

3. С какой целью применяется метод неопределенных множи-телей Лагранжа?

4. Как ставится задача поиска условного экстремума?

5. Как решается задача поиска наибольших и наименьших значений функций многих переменных, когда допустимые решения принадлежат замкнутой области?