21. Метод максимального правдоподобия.

Рассмотрим модель вида u=F(ρ, )ρ– неслучайный вектор неизвестных параметров иF– известная функция. Для определения функции отклика найдем плотность распределения вероятностейP_ρ(u) вектора измерений. Эта функция определяется по моделиuk=fk(ρ)+nkдля заданного полностью или частично случайной компонентыnпо известным из теории вероятностей правилам определения законов распределения случайных аргументов. После подстановки вP_ρ(u) найденных из экспериментовuпараметров, определим искомую функцию отклика как:

Построенная таким образом функция отклика L_u(ρ)=P_ρ(u) называется функцией правдоподобия. Критерий принятия решений о значенииρсостоят в максимизации функции отклика в пространствеρпри найденной из эксперимента выборке значенийu, т.е.

22. Метод максимума апостериорной плотности вероятности.

Будем рассматривать модель uk=fk(ρ)+nk(1), однако векторρнезвестных параметров будем считать случайными. Рассмотрим систему случайных величин, составленную из компонент двух векторовuиρ. Очевидно, что между ними существует связь, заданная моделью (1). Введем совместную плотность распределенияP(u,ρ), которую на основании теоремы умножения вероятностей можно представить в видеP(u,ρ)=P(ρ)P(u/ρ)=P(u)P(ρ/u) (2). Дадим физическое толкование полученным распределениям. ВеличинаP(ρ) есть безусловная по отношению к экспериментуuплотность распределения неизвестных параметров, отражающая знания экспериментатора оρдо получения вектораu. Эта плотность распределения называется априорной. ВеличинаP(u/ρ) есть условная плотность распределенияuпри условии, что неизвестные параметрыρприняли некоторые ожидаемые значения. Эта функция находится аналитически по заданной модели (1) на основании известных правил теории вероятностей. Именно она определяет конкретную процедуру обработкиuв данном методе оцениваяρплотность распределения экспериментального материалаu. Так как конкретная выборкаuуже получена, эта функция представляет собою число, не зависящее отρ. ВеличинаP(ρ/u) есть априорная плотность распределения неизвестныхρ, отражающая представления экспериментатора оρпосле получения и учета экспериментальных данныхu. Эта функция принимается в дальнейшем в качестве функции отклика. Их выражения (2) следует, чтоL_u(ρ)=P(ρ|u)=k– коэффициент, не зависящий отρ. Далее решение принимается по правилу:.

23. Оценка параметров методом Баейса.

В качестве функции отклика принимается апостериорная плотность P(ρ/u), но критерий меняется. В качестве оценокρпринимается средние значения неизвестных:. Этот метод совпадает с предыдущим для симметричных распределенийP(ρ/u).

24. Оценка для аддитивных моделей. Оценивание при известной матрице ковариации.

Пусть задана модель экспериментального материала в виде : uk=fk(ρ)+nkгдеρ– вектор неизвестных параметром,n– нормально распределенная случайная компонента, центрированная (E(u)=0) ии с известной матрицей ковариацииR=||R_kk||. Будем считать, чтоρ– неслучайно, значит применим метод максимального правдоподобия. Найдем функцию откликаL_u(ρ), которая в нашем случае совпадает с распределениемP_ρ(u) вектора экспериментальных данных. Как следует из (1)ukлинейно связана сnk, при этомfk(ρ) по условию адачи неслучайны. Так как линейная комбинация нормально распределенных величин распределена нормально, тоP_ρ(u) заведомо распределена нормально. Так как среднее суммы равно сумме средних, то, тогда это означает что матрица ковариацииuсовпадает сR. В результате этого функция отклика есть:

Принятие решений сводится к максимизации функции отклика в пространстве ρпри заданном экспериментальном материалеu, т.е.. Максимизация может быть в общем случае заменена решением системы изSнелинейных в общем случае уравнений правдоподобий. Рассмотрим случай, когда ρ является случайной величиной. Воспользуемся для этого явным видом априорного распределенияP(ρ) в виде:

где- вектор априорных средних значений иD– матрица ковариации вектора ρ. Можно также использовать и равномерное распределение в виде:

тогда учитывая что для аддитивной модели P_ρ(u) иP(u/ρ) формально совпадают, получим для модели ограничений (4) формулу отклика:

принятие решений можно произвести по правилу (3). Возвращаясь к методу максимального правдоподобия заметим, что априорную информацию можно ввести и там в виде равенств в общем виде: F(ρ)=0;(*)F(ρ1)<=F(ρ)<=F(ρ2)(**)

неравенство (**) легко трансформируется в вид ρ1<= ρ<= ρ2. Пусть нам заданы ограничения(*), тогда необходимо искать условный максимум функции отклика (2) используя метод множителей Лагранжа. В этом случае решения получаются максимизацией функционала (α,ρ), где α – множитель Лагранжа: Ф(α,ρ)=L_u(ρ)+ αF(ρ)