Деденко Методы обработки резултатов ядерно-физического 2008
.pdfПредполагаем, что максимальное значение функции плотности достигается при максимальном значении аргумента:
1, если q(θ =1| x) > q(θ = 0| x), θ = 0, если q(θ =1| x) ≤ q(θ = 0| x).
Вот это и есть бейесовское решающее правило – по максимуму апостериорной вероятности.
Полученное значение оценки можно выразить в терминах правдоподобия:
1, если |
|
f (x |1) |
< |
q2 |
, |
||||
|
|
|
|
|
|||||
|
f (x | 0) |
|
|
q1 |
|||||
|
|
|
|||||||
θ = |
|
f (x |1) |
|
|
|
q2 |
|
||
0, если |
|
|
≥ |
. |
|||||
|
|
|
|
|
|||||
|
|
f (x | 0) q1 |
|||||||
|
|
2.3.3. Метод наименьших квадратов (МНК)
Имеется вектор неизвестных параметров θ1...θr − θ , который
необходимо определить.
В эксперименте вместо собственно параметров определяют ка- кие-либо другие величины y1…yn ( y ), причем каждая экспериментальная величина yi определена с погрешностью εi .
Полагаем, что эти погрешности случайные, а не систематические (нет постоянного смещения у ошибки), т.е. E {εi } = 0 для
любого εi . Причем имеется связь экспериментальных величин yi с
параметрами θ и некоторыми значениями xi (i=1…n). Величины xi определяют условия эксперимента по получению величины yi.
Таким образом, известна связь yi=η(xi ,θ )+εi . Задача состоит
в определении θ при известных y, x , ε .
Метод наименьших квадратов заключается в минимизации суммы квадратов, характеризующих отклонение эксперименталь-
ного значения yi от некоего идеального значения η(xi ,θ).
61
Минимизируется следующий функционал:
Q = ∑n ( yi −η(xi ,θ ))2 → min.
i=1
Рассмотрим метод наименьших квадратов для некоторых конкретных типов функции η .
МНК для прямых равноточных измерений
Измеряется непосредственно величина θ , которую необходимо узнать. Получены результаты n измерений с погрешностью εi:
yi =θ +ε i ;по условиям задачи:
E{εi } = 0; D{εi2} =σ 2; E{y} =θ; η(θ) = 0.
Считаем, что погрешности распределены нормально. Предположение о нормальном распределении результатов можно оправдать центральной предельной теоремой.
Если погрешности ε распределены нормально, то значит, нормальное распределение имеют и y.
Вероятность получить в результате i-го измерения значения в интервале yi ÷ yi + dy:
|
|
|
1 |
|
|
|
|
|
|
(yi −θ |
) |
2 |
|
|||
|
fidy = |
|
|
exp |
− |
|
dy . |
|||||||||
|
|
|
2πσ |
2 |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
2σ |
|
|
|
||||
Функция правдоподобия: |
|
|
|
|
|
|
|
|
|
|
|
|||||
n |
1 |
exp |
|
|
(yi − |
θ) |
2 |
dy ; |
|
|
|
|||||
L = ∏ |
− |
|
|
|
|
|||||||||||
2πσ |
|
|
2 |
|
|
|
|
|||||||||
i=1 |
|
|
|
|
2σ |
|
|
|
|
|
|
|
||||
логарифмическая функция правдоподобия: |
|
|
|
|||||||||||||
|
|
|
1 |
|
n |
|
|
|
|
|
|
|
|
|||
|
|
l = − |
|
∑(yi |
−θ)2 +const; |
|||||||||||
|
|
|
2σ |
2 |
||||||||||||
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
n
l принимает максимальное значение, если ∑(yi −θ)2 принимает
i=1
минимальное значение. Это и есть принцип метода наименьших квадратов:
62
n |
n |
Q = ∑(yi −θ)2 |
= ∑εi2 → min, |
i=1 |
i=1 |
а min значение для положительной величины Q = 0. Тогда:
|
|
|
1 |
n |
θ = |
|
= |
∑yi – оценка, полученная методом наименьших |
|
y |
||||
|
|
|
n i=1 |
квадратов. Оценка совпадает с оценкой по методу максимального правдоподобия и совпадает с простым выборочным средним.
МНК для прямых неравноточных измерений
Измеряется непосредственно сама величина, интересующая нас, но погрешности разные:
yi =θ +εi ; E{εi }= 0 ; E{εi2}=σi2 = |
1 |
. |
|
||
|
gi |
Здесь введено понятие «вес измерения g». Вес – это величина обратно пропорциональная дисперсии.
Полагаем, что погрешности распределены нормально относительно нуля. Так как измерения прямые, то измеряется непосредственно величина искомого параметра, т.е.:
y = η(θ) = θ.
Вероятность получить в результате i-го измерения значение в интервале yi ÷ yi + dy составляет:
|
1 |
|
(yi −θ |
) |
2 |
|
fi dy = |
exp − |
|
dy. |
|||
2πσi |
2 |
|
|
|||
|
|
2σi |
|
|
|
Логарифмическая функция правдоподобия:
|
1 |
n |
−θ) |
2 |
|
|
l = − |
∑ |
(yi |
|
+const (т.е. не функция от θ), |
||
2 |
|
2 |
|
|||
|
i=1 |
σ i |
|
|
l принимает максимальное значение, если
n |
(y −θ)2 |
|
|
∑ |
i |
|
→ min. |
σ |
2 |
||
i=1 |
i |
|
|
|
|
Таким образом, условие метода наименьших квадратов:
63
n
Q = ∑
i=1
∑gi yi
θ= i=1n
∑gin
i=1
(y −θ)2 |
n |
n |
||
i |
|
= ∑gi (yi −θ)2 |
= ∑giεi2 → min. |
|
σ |
2 |
|||
i |
i=1 |
i=1 |
||
|
– так называемое средневзвешенное индивидуаль-
ных измерений.
МНК для косвенных измерений (линейный случай)
Интересующие нас величины θ непосредственно не измеряются, а измеряются некие величины yi =ηi (xi ,θ) +εi i =1...n.
Параметров θ может быть несколько: θ1,θ2,…,θr (θ); xi – известные величины, определяющие i-й номер эксперимента.
Если η – линейная функция и связана с параметрами так:
yi =η(xi ,θ) +εi = xi1θ1 + xi2θ2 +...+ xirθr +εi .
Можно определить векторы, состоящие из столбцов:
θ |
|
|
|
|
θ |
|
|
y |
|
|
ε |
|
1 |
|
; |
|
1 |
|
; |
1 |
|
; ε = |
|
1 |
|
θ = |
|
|
η= |
|
y = |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
θr |
|
|
|
θn |
|
|
yn |
|
|
εn |
||
|
x |
x |
x |
|
|
|
|
|
|
|
||
и матрицу x = |
|
11 |
12 |
1r |
|
|
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|||
|
x |
x |
x |
|
|
|
|
|
|
|
||
|
|
n1 |
n2 |
nr |
|
|
|
|
|
|
||
В матричном виде уравнение |
|
yi =η(xi ,θ) +εi |
можно предста- |
вить как: η= xθ y = xθ+ε y −ε−xθ = 0 .
Эту систему уравнений надо решить относительно θ, используя метод максимального правдоподобия и тот факт, что погрешности
64
измерений yi с дисперсиями σi подчиняются нормальному распределению, т.е.:
|
1 |
|
(yi −ηi ) |
2 |
|
1 |
|
|
2 |
|
|
f (yi ) = |
exp |
|
|
= |
exp |
− |
εi |
. |
|||
2πσi |
2 |
|
2πσi |
2 |
|||||||
|
|
2σi |
|
|
|
|
|
σi |
|
Функция правдоподобия для n измерений имеет вид:
n |
−n |
n |
|
1 |
n |
2 |
|
L = ∏ f (yi ) = (2π) |
2 |
(∏σi−1)exp − |
∑ |
εi |
. |
||
|
2 |
||||||
i=1 |
|
i=1 |
|
2 i=1 |
σi |
|
Логарифмическая функция правдоподобия
|
n |
|
n |
|
|
1 |
n |
ε2 |
|
l = ln L = − |
|
ln 2π +ln |
∏σi−1 |
|
− |
|
∑ |
i |
. |
2 |
|
2 |
|||||||
|
|
i=1 |
|
|
2 i=1 |
σi |
Это выражение достигает максимума, когда последнее слагаемое будет минимально, что и соответствует условию МНК:
n ε |
2 |
n |
(y −x |
T |
θ)2 |
|||
Q = ∑ |
|
i |
= ∑ |
i |
|
i |
|
→ min. |
σ |
2 |
σ |
2 |
|
||||
i=1 |
i |
i=1 |
i |
|
|
|
||
|
|
|
|
|
Величину εi, используя введенные матричные обозначения, можно записать следующим образом:
y −ε−xθ = 0 ε = y −xθ εi = yi −xi T θ.
Введем понятие: матрица ошибок:
|
|
2 |
0 |
|
|
σ1 |
|
||
|
|
σ 22 |
|
|
Cy |
0 |
|
|
|
= Cε = |
|
|
. |
|
|
|
|
|
|
|
|
|
2 |
|
|
0 |
|
σn |
|
Обратная ей матрица называется весовой:
65
|
|
|
|
1 |
0 |
|
|
|||
|
g |
0 |
|
|
|
|
||||
|
σ 2 |
|
||||||||
|
|
1 |
|
|
1 |
|
|
|
|
|
G y |
|
|
|
|
|
|
, |
|||
= Gε = |
|
|
= |
|
|
|
|
|||
|
|
|
|
|
|
|
1 |
|
|
|
|
0 |
|
gn |
0 |
|
|
|
|||
|
|
|
σ 2 |
|
||||||
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
n |
|
|||
|
|
|
|
|
|
|
|
|
gi = σ12 .
i
С учетом введенных обозначений для Gy можно переписать:
n |
|
2 |
|
Q = ∑ |
εi |
= εT G y ε → min |
|
2 |
|||
i=1 |
σ |
i |
|
|
или
Q = (y −xθ)T G y (y −xθ) → min.
Для получения min функционала необходимо образовать частные производные Q по θi и приравнять их к 0:
∂Q |
= 0 ; i =1...r , |
∂εT |
= xT , |
|
|
||
∂θi |
∂θ |
|
T
∂∂Qθ = ∂∂εθ G y ε+εT ∂∂θ (G y ε)= xT G y ε+εT G y x =
=xT G y ε+ xT G y ε = 2xT G y ε =
=2xT G y (y −xθ) = 0 xT G y y = xT G y xθ.
Для получения искомой оценки параметра θ необходимо подействовать на уравнение оператором (xT G y x)−1 :
θ = −(xT G y x)−1 xT G y y – это полученная методом наименьших
квадратов оценка для вектора параметров.
Рассмотрим частный случай: когда все измерения равноточные, т.е. σi2 =σ2 и не зависят от yi. Тогда веса одинаковы:
gi = g = σ12 . Подставим постоянные веса в полученную ранее
66
оценку для θ . θ = −(xT G y x)−1 xT G y y и получим для равноточных измерений: θ = −(xT x)−1 xT y .
Подбор коэффициентов линейной регрессии
Рассмотрим случай подбора коэффициентов линейной регрессии по экспериментальным данным в самом простом случае – для подбора коэффициентов линейной зависимости.
В этом случае нужно подобрать только два коэффициента для определения прямой линии. Пусть известна форма зависимости y от x , т.е. известно, что зависимость можно представить в виде
прямой: y=θ1 x+θ0.
Для выявления значений коэффициентовθ1 иθ0 проводят ряд
экспериментов и получают экспериментальные значения y1, y2,…
yn.
Для каждого эксперимента можно записать: yi = xi1θ1 +θ0 +εi , i =1...n ,
где εi – погрешность измерений.
Если измерения равноточны D{εi } =σ 2 , можно сразу напи-
сать сумму квадратов отклонений от «истинной» линии, т.е функционал для метода наименьших квадратов:
n
Q = ∑(yi − xi1θ1 −θ0 )2 . i=1
Затем постараться найти такие θ1 и θ0 , чтобы Q было минимально: Q → min.
По обычному МНК для нахождения таких θ1 иθ0 можно находить минимум Q, дифференцируя Q по θ1 и θ0 , таким образом
имеем систему уравнений: |
|
|
|
||
|
∂Q |
= 0; |
∂Q |
= 0. |
|
|
∂θ |
0 |
∂θ |
||
|
|
|
|||
|
|
|
1 |
|
67
∂Q |
|
n |
|
|
|||
|
|
|
= −2∑(yi −θ0 −θ1x1i )= 0, |
||||
∂θ0 |
|||||||
|
|
i=1 |
|
|
|||
|
∂Q |
|
n |
|
|
||
|
|
|
|
||||
|
|
|
= −2∑xi1 (yi −θ0 −θ1x1i )= 0. |
||||
∂θ |
|||||||
|
i=1 |
|
|
||||
|
1 |
|
|
−θ1∑x1i = 0, |
|||
|
∑yi |
−nθ0 |
|||||
|
n |
|
|
n |
|
||
|
i=1 |
|
|
i=1 |
|
||
|
n |
|
|
n |
n |
||
|
∑x1i yi −θ0 ∑x1i −θ1 |
∑x12i = 0. |
|||||
|
i=1 |
|
|
i=1 |
i=1 |
|
|
n |
n |
θ0n +θ1 |
∑x1i = ∑yi |
||
|
|
i=1 |
i=1 |
|
n |
n |
n |
θ0 ∑x1i +θ1∑xi21 = ∑xi1 yi |
|||
|
i=1 |
i=1 |
i=1 |
При решении этой системы уравнений получены следующие оценки:
|
|
|
|
|
|
n |
n |
|
|
|
n |
|
|
∑xi1 |
∑yi |
||
|
|
∑x1i yi |
− |
i=1 |
i=1 |
|||
θ |
= |
|
|
|
||||
i=1 |
|
|
|
n |
||||
|
|
|
|
|
2 |
|||
1 |
|
|
|
|
n |
|||
|
|
n |
|
|
∑xi1 |
|||
|
|
∑xi21 |
− |
i=1 |
|
|
||
|
|
|
||||||
|
|
i=1 |
|
|
|
n |
|
|
|
|
|
∑yi |
|
|
∑xi1 |
|
|
|
|
n |
|
−θ1 |
n |
|
; θ0 |
= |
|
n |
|
n . |
||
|
|
i=1 |
|
i=1 |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таким образом, получены оценки для двух коэффициентов для прямой линии в случае любого количества проведенных измерений.
Если измерений было всего два (это минимальное количество измерений для оценки двух коэффициентов), то можно записать следующую систему уравнений:
y1 = x11θ1 +θ0 +ε1, ;y2 = x12θ1 +θ0 +ε2;
и ее решением будут являться оценки:
68
θ |
= |
y1 − y2 |
, |
|
|
|
|
|
|
||||
|
1 |
|
x11 − x12 |
|
|
|
|
|
|
|
|
||
|
|
= |
(y1 + y2 )−(x11 |
+ x12 )θ1 |
. |
|
θ0 |
2 |
|
||||
|
|
|
|
|
Эти оценки совпадают с общей оценкой для любого n. Можно представить это решение в матричной форме:
|
|
y =θ |
0 |
+ x θ , |
|
|
|
|
|
|
|
1 |
11 1 |
|
|
|
|
|
|
y2 =θ0 + x12θ1. |
|
|
|
|||
|
|
|
x10 |
=1, |
|
|
|
|
|
|
|
x20 |
=1. |
|
|
|
|
1 |
x |
|
|
|
y |
|
, |
|
Матрица x = |
11 |
, |
вектор-столбец y = |
1 |
|
|||
1 |
x12 |
|
|
|
y2 |
|
|
вектор-строка θ = (θ0 ,θ1), искомая оценка:θ = (xT x)−1 xT y.
Такая оценка совпадает с данной ранее оценкой для вектора параметров в линейном МНК.
Задача 2.4. Оценить θ для прямых неравноточных измерений.
В этом случае: yi = θ + εi , i = 1,…n,. E{εi } = 0, |
g |
|
= |
|
1 |
, |
|||||||||
i |
σ 2 |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
1 |
|
|
|
|
g 0 |
0 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
x = 1 |
, |
G |
|
= |
|
0 |
0 |
|
|
, |
|
|
|
||
|
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
gn |
|
|
|
|
|
||
1 |
|
|
|
|
|
|
|
|
|
|
69
|
|
|
1 |
×(1,1...1)× g1 |
|
y1 |
|
||
θ = (1,1...1) g1 |
1 |
|
|
= |
|||||
|
|
gn |
|
|
|
gn |
|
||
|
|
|
1 |
|
|
yn |
|||
|
|
|
|
|
|
|
|
|
|
=∑n gi −1 ∑n gi yi .
i=1 i=1
Оценка погрешности МНК
Ковариационная матрица (матрица ошибок) выборочных оценок θ для неизвестных θ: Cθ = Gθ−1 = (xT G y x)−1 показывает как
влияют погрешности измерений на неизвестные параметры θ . Диагональные элементы этой матрицы можно рассматривать как дисперсии, а квадратные корни из этих элементов в качестве “по-
грешностей измерения” θ , хотя θ непосредственно не измеряется.
МНК для косвенных измерений (нелинейный случай)
МНК в нелинейном случае можно свести к линейному при определенных условиях.
Между измеряемыми величинами y и неизвестными параметрами θ есть зависимость f , т.е. пусть в i-м измерении
fi (θ, yi ) = 0 ; i=1...n , где n – число измерений, θ(θ1...θr ) , r – число параметров. В матричном виде:
f (θ,y) = 0
Пусть функция f дифференцируема. Выберем точку θ0 (θ10 ,θ20...θr 0 ). Произведем разложение функции fi в ряд Тейло-
ра в точке θ0 и рассмотрим только линейные члены:
70