Оценка по максимуму правдоподобия Общая идея метода

Предположим, что мы разбили множество выборок на классы, так что получено склассов выборок χ₁,…, χ_c, причем выборки в каждом классе χ_jполучены независимо в соответствии с вероят­ностным закономp(x|ω_j).Предполагается, что плотностьp(x|ω_j)задана в известной параметрической форме и, следовательно, одно­значно определяется вектором параметров θ_j. Мы могли, например, получить распределениеp(x|ω_j)~N(μ_j, ∑_j), в котором компоненты θ_jсоставлены из компонент μ_jи ∑_j.Чтобы явно выразить зависи­мостьp(x|ω_j) от θ_j, запишемp(x|ω_j) в виде² p(x|ω_j, θ_j).Задача состоит в использовании информации, получаемой из выборок, для удовлетворительной оценки векторов параметров θ₁,…, θ_c.

Для облегчения задачи предположим, что выборки, принадле­жащие χ_i,не содержат информации о θ_j,еслиi≠j,т. е. предпола­гается функциональная независимость параметров, принадлежащих разным классам³. Это дает возможность иметь дело с каждым клас­сом в отдельности и упростить обозначения, исключив индексы принадлежности классу. В результате получаетсясотдельных задач, формулируемых следующим образом: на основании множе­ства χ независимо от полученных выборок в соответствии с вероят­ностным закономp(x|θ) оценить неизвестный па­раметрический вектор θ.

Предположим, что χ содержитпвыборок: χ ={x₁, ...,х_n}. Так как выборки получены незави­симо, имеем

p(χ |θ)=p(x_k|θ). (1)

Рис. 3.1.Оценка по максимуму правдоподобия для параметра θ.

Рассматриваемая как функция от θ,плотностьp(χ|θ) называетсяправдо­подобиемвеличины θ отно­сительно данного множества выборок.Оценка по максимуму прав­доподобиявеличины θ есть по определению такая величина ,при которой плотностьp(χ|θ) максимальна (рис. 3.1).

Интуитивно это означает, что в некотором смысле такое значение величины θ наилучшим образом соответствует реально наблюдаемым выборкам.

Для целей анализа обычно удобнее иметь дело с логарифмом правдоподобия, нежели с самой его величиной. Так как логарифм есть монотонно возрастающая функция, то максимуму логарифма правдоподобия и максимуму правдоподобия соответствует одна и та же величина .Еслиp(χ|θ) есть гладкая дифференцируемая функция θ,то определяется посредством обычных методов диффе­ренциального исчисления. Пусть θ естьp-компонентный вектор θ=(θ₁,..., θ_p)^t,пусть также—оператор градиента,

= (2)

и пусть - функция логарифма правдоподобия

= log p () (3)

Тогда

= (4)

и

= (5)

Совокупность условий, необходимых для определения оценки по максимуму правдоподобия величины ,может быть получена, таким образом, из решения системыруравнений=0.

Случай многомерного нормального распределения: неизвестно среднее значение

Для иллюстрации применения полученных результатов к кон­кретному случаю предположим, что выборки производятся из нормально распределенной совокупности со средним значением и ковариационной матрицей.Для простоты сначала рассмотрим случай, когда неизвестно только среднее значение. Тогда

log p ()=

и

Если отождествить и, то из уравнения (5)увидим, что оценка по максимуму правдоподобия для должна удовлетворять урав­нению

После умножения на и преобразования получим

(6)

Этот результат весьма убедителен. Он свидетельствует о том, что оценка по максимуму правдоподобия при неизвестном среднем по совокупности в точности равна среднему арифметическому выбо­рок —выборочному среднему.Если представитьпвыборок геомет­рически в виде облака точек, то выборочное среднее будет центром этого облака. Помимо всего, выборочное среднее имеет ряд досто­инств с точки зрения статистических свойств, в связи с чем эта весьма наглядная оценка часто оказывается предпочтительнее, не говоря уже о том, что она представляет максимально правдоподоб­ное решение.