Деденко Методы обработки резултатов ядерно-физического 2008

Предполагаем, что максимальное значение функции плотности достигается при максимальном значении аргумента:

1, если q(θ =1| x) > q(θ = 0| x), θ = 0, если q(θ =1| x) ≤ q(θ = 0| x).

Вот это и есть бейесовское решающее правило – по максимуму апостериорной вероятности.

Полученное значение оценки можно выразить в терминах правдоподобия:

2.3.3. Метод наименьших квадратов (МНК)

Имеется вектор неизвестных параметров θ1...θr − θ , который

необходимо определить.

В эксперименте вместо собственно параметров определяют ка- кие-либо другие величины y1…yn ( y ), причем каждая экспериментальная величина yi определена с погрешностью εi .

Полагаем, что эти погрешности случайные, а не систематические (нет постоянного смещения у ошибки), т.е. E {εi } = 0 для

любого εi . Причем имеется связь экспериментальных величин yi с

параметрами θ и некоторыми значениями xi (i=1…n). Величины xi определяют условия эксперимента по получению величины yi.

Таким образом, известна связь yi=η(xi ,θ )+εi . Задача состоит

в определении θ при известных y, x , ε .

Метод наименьших квадратов заключается в минимизации суммы квадратов, характеризующих отклонение эксперименталь-

ного значения yi от некоего идеального значения η(xi ,θ).

61

Минимизируется следующий функционал:

Q = ∑n ( yi −η(xi ,θ ))2 → min.

i=1

Рассмотрим метод наименьших квадратов для некоторых конкретных типов функции η .

МНК для прямых равноточных измерений

Измеряется непосредственно величина θ , которую необходимо узнать. Получены результаты n измерений с погрешностью εi:

yi =θ +ε i ;по условиям задачи:

E{εi } = 0; D{εi2} =σ 2; E{y} =θ; η(θ) = 0.

Считаем, что погрешности распределены нормально. Предположение о нормальном распределении результатов можно оправдать центральной предельной теоремой.

Если погрешности ε распределены нормально, то значит, нормальное распределение имеют и y.

Вероятность получить в результате i-го измерения значения в интервале yi ÷ yi + dy:

n

l принимает максимальное значение, если ∑(yi −θ)2 принимает

i=1

минимальное значение. Это и есть принцип метода наименьших квадратов:

62

а min значение для положительной величины Q = 0. Тогда:

квадратов. Оценка совпадает с оценкой по методу максимального правдоподобия и совпадает с простым выборочным средним.

МНК для прямых неравноточных измерений

Измеряется непосредственно сама величина, интересующая нас, но погрешности разные:

Здесь введено понятие «вес измерения g». Вес – это величина обратно пропорциональная дисперсии.

Полагаем, что погрешности распределены нормально относительно нуля. Так как измерения прямые, то измеряется непосредственно величина искомого параметра, т.е.:

y = η(θ) = θ.

Вероятность получить в результате i-го измерения значение в интервале yi ÷ yi + dy составляет:

Логарифмическая функция правдоподобия:

l принимает максимальное значение, если

Таким образом, условие метода наименьших квадратов:

63

измерений yi с дисперсиями σi подчиняются нормальному распределению, т.е.:

Функция правдоподобия для n измерений имеет вид:

Логарифмическая функция правдоподобия

Это выражение достигает максимума, когда последнее слагаемое будет минимально, что и соответствует условию МНК:

Величину εi, используя введенные матричные обозначения, можно записать следующим образом:

y −ε−xθ = 0 ε = y −xθ εi = yi −xi T θ.

Введем понятие: матрица ошибок:

Обратная ей матрица называется весовой:

65

оценку для θ . θ = −(xT G y x)−1 xT G y y и получим для равноточных измерений: θ = −(xT x)−1 xT y .

Подбор коэффициентов линейной регрессии

Рассмотрим случай подбора коэффициентов линейной регрессии по экспериментальным данным в самом простом случае – для подбора коэффициентов линейной зависимости.

В этом случае нужно подобрать только два коэффициента для определения прямой линии. Пусть известна форма зависимости y от x , т.е. известно, что зависимость можно представить в виде

прямой: y=θ1 x+θ0.

Для выявления значений коэффициентовθ1 иθ0 проводят ряд

экспериментов и получают экспериментальные значения y1, y2,…

yn.

Для каждого эксперимента можно записать: yi = xi1θ1 +θ0 +εi , i =1...n ,

где εi – погрешность измерений.

Если измерения равноточны D{εi } =σ 2 , можно сразу напи-

сать сумму квадратов отклонений от «истинной» линии, т.е функционал для метода наименьших квадратов:

n

Q = ∑(yi − xi1θ1 −θ0 )2 . i=1

Затем постараться найти такие θ1 и θ0 , чтобы Q было минимально: Q → min.

По обычному МНК для нахождения таких θ1 иθ0 можно находить минимум Q, дифференцируя Q по θ1 и θ0 , таким образом

67

Эти оценки совпадают с общей оценкой для любого n. Можно представить это решение в матричной форме:

вектор-строка θ = (θ0 ,θ1), искомая оценка:θ = (xT x)−1 xT y.

Такая оценка совпадает с данной ранее оценкой для вектора параметров в линейном МНК.

Задача 2.4. Оценить θ для прямых неравноточных измерений.

69

=∑n gi −1 ∑n gi yi .

i=1 i=1

Оценка погрешности МНК

Ковариационная матрица (матрица ошибок) выборочных оценок θ для неизвестных θ: Cθ = Gθ−1 = (xT G y x)−1 показывает как

влияют погрешности измерений на неизвестные параметры θ . Диагональные элементы этой матрицы можно рассматривать как дисперсии, а квадратные корни из этих элементов в качестве “по-

грешностей измерения” θ , хотя θ непосредственно не измеряется.

МНК для косвенных измерений (нелинейный случай)

МНК в нелинейном случае можно свести к линейному при определенных условиях.

Между измеряемыми величинами y и неизвестными параметрами θ есть зависимость f , т.е. пусть в i-м измерении

fi (θ, yi ) = 0 ; i=1...n , где n – число измерений, θ(θ1...θr ) , r – число параметров. В матричном виде:

f (θ,y) = 0

Пусть функция f дифференцируема. Выберем точку θ0 (θ10 ,θ20...θr 0 ). Произведем разложение функции fi в ряд Тейло-

ра в точке θ0 и рассмотрим только линейные члены:

70