Таким образом, в поставленной задаче следует отметить две проблемы:
1)как ввести в рассмотрение погрешность аргумента;
2)как минимизировать функционалы при отыскании точечных оценок параметров после введения в них оценок аргументов или выражений для них, так как эти функционалы имеют сложную фор му и соответствующие системы уравнений для определения этих оценок нелинейны (известно, что каждая нелинейная система тре бует особого рассмотрения каждого решения).
Наиболее часто выборка случайных величин имеет распределе ние Гаусса. Найдем (в качестве примера) для этого распределения вид функционалов, из которых затем могут быть получены оценки искомых параметров (для других функций распределений экспери ментальных данных процедура получения минимизируемого функ ционала будет аналогичной).
Пусть экспериментальные значения Xi и у» — случайные вели чины, каждая из которых имеет функцию плотности распределения вероятностей, описываемую функцией Гаусса с математическими ожиданиями \i и т)*, дисперсиями o2(Xj) и o2(j/i) и коэффициентом корреляции pi = p(xi, yi). Тогда плотность вероятности получения точки с координатами (xi, у*) имеет вид
Pi =
где
Совместная плотность вероятности получения п независимых таких точек является функцией
П
ИЛИ
In Ц х , у) = - у 2
( X i - Ç i ) 2
( X i - l i ) ( y i - Г ) 0
( j / i - Г ц ) 2
^ s r
_2f" oÇti)o(a/i)
+
г=1
1
7 + const.
1— Pi
Оценки искомых параметров 0 находятся из условия минимума функционала
1 п
(Xi-li)2
(Хг -
li){yi ~ T)i)
(yi - Г)02
' - т Е
------------- ^ p i
-------,
------ 1-------------
(7.18)
0 2 ( X i )
a(xi)a(yi)
°4Vi)
г=1
В частном случае, когда погрешности не некоррелированы, вы ражение (7.18) принимает вид
( Xj ~ Zi?
(Уг ~ Г)г)2
(7.19)
а 2 ( х , )
0 2 ( y i )
Аналогично находят вид минимизируемого функционала при других законах распределения исходных данных. Чтобы перейти в выражениях (7.18), (7.19) к случаю, когда переменные являются детерминированными, следует положить = х* или т)г = Уг-
Теперь рассмотрим задачу отыскания минимума функционала типа (7.18) по параметрам 0 при условии, что задан вид функции
т) = f ( l , 0 ).
Нам не известны истинные значения £ (абсцисс) эксперимен тальных точек, а известны только их доверительные области, тогда как в регрессионном анализе абсциссы известны, причем случай ная величина х коррелирована с обобщенной ошибкой функции т) (например, для линейной функции т) = 0i + 0г£ обобщенная ошибка равна е —02§)-
Перед тем как определять точки минимума функционалов (7.18) и (7.19) по 0, необходимо каким-то образом определить £*, а толь ко затем, подставив выражения для ^ и r]j в функционал, найти минимум получившейся функции нескольких переменных.
Выход любой системы в виде набора значений у содержит ин формацию не только о параметрах 0 модели, но и о действительных значениях входного воздействия £. Искомые оценки 0 определяются
из равенства
(7.20)
Однако в уравнениях (7.20) истинные значения \ неизвестны.
Чтобы найти их оценки доопределим задачу следующим образом:
(7.21)
Очевидно, получаемые оценки
значений
должны принад
лежать области неопределенности
Di измеренных величин х*,
i = 1,2 , ... , п, т. е. Ç* е Di. Когда известен закон распределения по грешности измерения величин х*, это условие может быть выраже но в более конкретной форме: при нормальном законе распределе ния случайной величины х* можно считать, что |xj — ^ ko(xi), где значение коэффициента к определяется выбранным значением доверительной вероятности.
Таким образом, решение задачи минимизации функциона ла (7.19) при условии (7.21) эквивалентно решению системы урав нений
при
(7.23)
Для функций, линейных по параметрам 0, система уравне ний (7.22) является системой линейных алгебраических уравнений. Система (7.23) для линейных по \ функций представляет п не свя занных между собой систем из т линейных уравнений.
Замена нормального закона распределения другим, например законом Пуассона или Лапласа, приводит к системе нелинейных уравнений (7.22).
При учете корреляции погрешностей величин хг и уг формулы усложняются, а при учете корреляции погрешностей значений хц и хц нельзя разбить систему из т п уравнений на п независимых
систем, в этом случае придется решать систему линейных уравнений в п раз большей размерности, чем при независимых пере менных хц и Х{2. Учет корреляции погрешностей всегда ухудшает обусловленность системы уравнений (7.22).
Условие (7.23) для нелинейных функций т) = /(£ , 0) имеет вид п независимых систем из т нелинейных уравнений, которые мож но решать методом линеаризации. Сходимость итерационного про цесса при этом обеспечивается малостью допустимых интервалов для I.
Таким образом, сначала решают регрессионную задачу нахож дения вектора оценок 0 при значениях = Xi, i = 1,2, ... , п. По
лучают первое приближение для оценок 0. Затем определяют точ ные значения при этом проверяют принадлежность новых зна чений области возможных значений Д переменной Х{. Эти дей ствия повторяют до тех пор, пока не выполнится одно из условий:
а) на очередном шаге значение функционала (7.19) меньше за данного числа у;
б) на соседних итерациях значение функционала F и значения оценок параметра 0 мало отличаются, т. е.
max
где Yi и у2 — заданные числа;
в) исчерпан лимит итераций.
Дисперсии оценок параметров находят с помощью матрицы вто рых производных по 0 от функционала (7.18) (см. § 7.6).
В работах [20-24] рассмотрено применение конфлюэнтного ана лиза для основных элементарных функций: прямой линии, линей ных многомерных функций, полиномов, систем линейных алгебра ических уравнений, сигномов, кубических сплайнов.
Например, для линейной функции г\ = а£ + Ь с учетом выра жений (7.19), (7.23) получим следующий минимизируемый функ ционал:
г=1
если исходным был функционал (7.19), а значения & определим по формуле (согласно (7.23))
г . _
< ^ (y i)x j + g q ^ i i X ÿ i - b)
1
o 2( y i) + a 2a 2( x i)
и подставим затем в функционал (7.19).
Выражение в знаменателе o 2(yi) + а2о2(х,) можно рассматри вать как сумму дисперсий левой и правой частей г-го уравнения. Такой подход используют при оценке параметров функции многих переменных.
В случае, когда функция т) является аналитическим описанием плотности нормального распределения, возникают трудности в на хождении оценок параметров, так как функционал (7.19) в данном случае имеет сложный вид. Поэтому оценки параметров и истин ные значения Si находят итерационными методами, предварительно определив «хорошее» нулевое приближение.
§ 7.10. Анализ других методов оценки параметров функции известного вида с учетом ошибок
в значениях функций и аргументов
Предположим, что ошибки измерений е* и 8* — нормально рас пределенные случайные величины с нулевыми средними значени ями, дисперсиями o2(yî) и a 2(xj) соответственно и коэффициентом корреляции pi = 0.
Рассмотрим несколько подходов к решению задачи оценки па раметров функции известного вида.
I. В одном из подходов используют вместо истинных значе ний Si значения наблюдаемых ж» при оценивании параметров МНК, т. е. ошибка измерения игнорируется, в результате получают сле дующую модель:
у= f(x , 0) + е.
Восновном, как показано в [20, 30, 40], этот подход приводит
кнесостоятельной оценке с большим асимптотическим смещением. И. В работе [96] рассмотрена задача, когда S является случайной
величиной, не зависящей от е » и 8 j , с характеристиками M(S) = р ,
cov(£) = Dç. Значения Ç* аппроксимируются результатами измере ний Xi, и при нормальном законе распределения случайной величи ны полагают
D(Ç | х) = хЛ + [i(I - Л),
где Л = (Dç + a 2(æ)/)_ 1Dç, / — единичная матрица. Получаем функцию
у = f(x A + [i(I - Л), 6) + е.
Если [i и А не известны, то, используя исходную выборку х^ г = 1,2, ... , та, определяем оценки р, Л и получаем модель
у = f( x А + р(1 - Л), 0) + 6 = f ( l 0) + е.
(7.24)
Оценки параметров модели (7.24) могут быть определены МНК. Например, для прямой линии т) = а \ + Ъимеем
о2(х) \
1 = х
о 2( х ) + a l
ст2(х) + о § / ’
где OQ— дисперсия ошибки 5*, а2(х) —дисперсия вариационного ря да х. Минимизируемый функционал примет вид
тр_
Е [у» -*)(& ,б)]2
Е [(î/г - ь - ар)(а2(х) + а\) - (xi - р)аа2(х)]2
i—1_ _ _ _ _ _ _ _ _
г=1
“
“
(а2(х) + o20)W (y)
где а2(у) —дисперсия вариационного ряда у.
В случае, когда функция /(£ , 0) нелинейна по параметрам, ис пользуют разложение ее в ряд Тейлора в окрестности точки %[30, 96]. Например, при нормальном законе распределения с параметрами 0i и 02, используя формулу т) = /(£ ) + f'(Z)(x - £), получим
1
(
(X - 0 !)2Ï |
Т)%
202 }1х=1 +
л/2^02 еХР (
1
Г
( х — 0 i ) 2 1 1
Г
+ Æ
02eXPl
202 / 1 = |1
= Ж ехр{ -
Оценки параметров 0i и 02 найдем из условия минимума функ ционала
% [т - т)(&, 0)]2 тр_ г=1
III. Поставленная задача может быть решена итеративным мето дом наименьших квадратов с уточняемыми весами [30, 75, 76, 102].
Предполагается, что х*, i = 1,2,..., п, является выборкой из не которой генеральной совокупности с функцией плотности рас пределения f(xi, 0). При этом первые моменты функции f(x{, 0) известны и конечны. В данном случае для построения минимизи руемого функционала F необходимо знать вид функции плотности распределения /(х*, 0) или ее моменты.
Для определения моментов в [102] предлагается использовать разложение функции /(х*, 0) в ряд Тейлора в окрестности точки хо*. Тогда первый и второй моменты функции плотности распределения /(xoi, 0) находят по формулам [102]:
М(Уг I Х 0г) « /(Х г , 0),
‘dfjxji 0) 02(Уг I Z0г) » 02(Уг) + . dxi
Итерационный процесс нахождения оценок вектора парамет ров 0 строится следующим образом.
1. Составляется функционал
71
^0 = 2 “ М(Уг I x0i)ŸWi, i=1
где w® = а ~ 2(уг), и определяется оценка вектора параметров 0°, при которой достигается минимум функционала FQ, т. е. решается ре грессионная задача.
2.Определяются величины wj = a2(yi | яоО-
3.Составляется функционал
71
Fl = Y l
I x 0i)Ÿwi
(7.25)
2=1
и определяется оценка вектора параметров 01.
Операции 2 и 3 повторяют до тех пор, пока относительные изменения параметров на соседних итерациях не будут меньше не которой малой величины у:
max q - e r *
^Y>
j = 1,2,
q
Рассмотрим применение данного метода для линейной функ
ции ï)i = axi + b:
М(yi I ход » ахи +
b,
a2(yi \ xoi) * o2(yi) -I-a2o2(xi).
Функционал (7.25) примет вид
p _ y»
(y» ~
axi ~ b)2
1
f - j
o2(yi) +a2a2(xi)'
%—1
Для нелинейного случая, например для функции плотности,
имеющей нормальное распределение, получим
M(2/i 1X0i) *
Т/Ш г еХР{ “ ( ° 20i °
} ’
Ч -т )
q
СТ2(Уг I ®0») ~ о(Уг) +
(01 - х0<)т
o 2(Xi).
>/2x 0:
Подставив эти выражения в функционал (7.25), определим оцен ки параметров 0] и 02-
В статье [102] приведены асимптотические свойства получае мых оценок. В [30, 75, 76, 102] исследуются также статистические свойства оценок и вопрос о сходимости итерационного алгоритма получения оценок.
IV. В работе [95] предложен метод, позволяющий учитывать ошибки переменных Xi для линейных моделей.
Допустим, что задана модель с известными дисперсиями оши
бок О 2 И CTgl
Ух
-}■ЬЧ" £î, Хх
"Ь
Z 1, 2, ..., Т1.
Традиционными методами, например МНК, определяют оцен ки параметров а и b модели, считая, что Xi — детерминированные величины. Следовательно, теперь мы имеем модель с известными
параметрами:
У г ~ Ь = a Z i + t u
X i = £ i + & i, г = 1 , 2 ,
или, в матричном виде,
Получили регрессионную модель, где Çi — неизвестный пара метр, подлежащий оцениванию. Оценки Ç» определяют из выра
жения
Ь = « а , 1 ) 2 - 4 0 , 1) т ) - ‘ ( 2 , О Е - Ч з / г -ь,X i f ,
где Е = diag(Og, о[|).
Последнее выражение можно преобразовать следующим об
разом:
Ь - Са2о\ +
- 6)2 + о ^ ) .
Дисперсии оценок определяют по формулам
D(fi) = ((2 ,1)Е_ 1(2, 1)т)-1,
или
D(fi)= (à2ol + Og)-1
Далее уточняют оценки параметров о и 6 при^новых значениях аргументов Затем снова определяют оценки Итерационный процесс продолжается до тех пор, пока относительные изменения параметров на соседних итерациях не будут меньше некоторой ма лой величины у:
0f —0
> - i
max
^ у, j = 1,2.
в1
Для линейных моделей мы получили функционал и формулу для расчета значений &, аналогичную приведенной в § 7.9. Таким образом, в качестве единого подхода к задаче нахождения оценок параметров моделей с учетом погрешностей в значениях функции и аргументов могут быть использованы методы конфлюэнтного ана лиза, описанные в [20-24, 40].
§ 7.11. О единственности оценок параметров. Состоятельность оценок и алгоритм их получения
Функционал (7.19) является самым простым, и даже он нелине ен по 0 в случае оценки параметров 0 уравнения прямой при одно временном учете погрешностей и в значениях функции, и в значе ниях аргумента. Поэтому возникает вопрос о единственности оце нок искомых параметров, который тесно связан с выбором нулевого приближения оценок. Естественно рассмотреть в качестве нулевого приближения решение регрессионной задачи (например, по методу наименьших квадратов).
Из условия (7.12) следует, что для одной и той же задачи ми нимальное значение функционала в методе наименьших квадра тов больше минимального значения функционала (7.10), поскольку условие (7.12) является условием ортогональности вектора каса тельной к функции т) = /(£ , 0) в точке (£гь • • •, £гт> т]г)> принимаемой за «истинную», и вектора, проведенного через исходную точку ( х ц , ..., Xim, yi) и точку, принимаемую за «истинную». Таким об разом, минимизация функционала (7.10) при условии (7.12) приво дит к минимизации суммы квадратов «наикратчайших расстояний» от точки (хц, • • •, X jm , уг) до кривой, тогда как в методе наимень ших квадратов минимизируется сумма квадратов отклонений при фиксированных значениях X ÿ .
Для конкретных видов функции г) = /(£ , 0) в работах [21, 23,40] получены условия существования единственного решения. Покажем существование единственного решения для линейных
функций
771
впредположении, что:
1)погрешности е и 8 статистически независимы и подчиняются нормальному закону распределения;
2)за нулевое приближение взято решение регрессионной зада чи [21, 23].
Эти ограничения обусловлены тем, что с помощью преобразо ваний координат функция Гаусса, описывающая нормальный закон распределения, сводится к уравнению прямой линии и оценки
