Глава 5. Минимаксный подход

5.1. Минимаксное правило решения при наличии априорной неопределенности относительно параметров X

Минимаксный подход является удобным, а иногда и единственным средством получения правила решения u(х) в тех случаях, когда апри­орная неопределенность распространяется только на распределение ве­роятности параметров , не наблюдаемых непосредственно, но влияю­щих на последствия от принятия решения. Особенно велико его значение для ситуаций, когда данные наблюдения х не содержат сведений об априорном распределении . Это имеет место, если эти данные получены для единственного значения , или еще дополнительно для нескольких известных значений , но так, что относительная частота различных значений  не связана с распределением p(). Конечно, мини­максный подход имеет более широкое значение и может применяться и тогда, когда априорная неопределенность распространяется на статис­тическое описание и данных наблюдения х и параметров , однако ого­воренный выше случай имеет некоторую специфику, которая заслужива­ет отдельного рассмотрения.

Если априорная неопределенность относится только к  (априорное распределение  с плотностью р() полностью или частично неизвест­но), то для всякого правила решения u(х) средний риск будет прини­мать различные значения, соответствующие разным р() из множества _о, содержащего все возможные при данном уровне априорной неопре­деленности распределения . Если к тому же данные наблюдения х не содержат сведений о распределении , то класс минимаксных правил решений может быть сужен до множества U₀(x) всех байесовых реше­ний, соответствующих всем возможным априорным плотностям вероят­ности р()_о. Это утверждение следует из теорем о полноте байесова класса решений и условий их справедливости, которые в данном случае выполняются.

При этом также имеет место равенство минимакса и максимина для риска R(u(х),р), то есть

(5.1.1)

откуда следует, что отыскание минимаксного правила решения можно свести к процедуре отыскания наименее предпочтительного распределе­ния вероятности с плотностью р()_о и последующему нахождению байесова правила решения относительно этого априорного распределе­ния. (Существенно отметить, что в отличие от общего случая (гл. 4) максиминная задача может решаться не относительно общих мер (р), заданных на множестве  возможных распределений вероятности {P(х|), р()}, а непосредственно относительно р (), заданных на мно­жестве возможных значений .).

5.2. Полное незнание априорного распределения 

Рассмотрим минимаксное правило решения для случая, когда какие-либо сведения о статистических свойствах  отсутствуют вообще. При этом _о - множество любых неотрицательных функций, подчиненных условию нормировки на множестве возможных значений .

Для нахождения минимаксного правила в этом случае полной апри­орной неопределенности относительно , можно воспользоваться теоремой А. Вальда, согласно которой минимаксное правило решения u_м(х) является байесовым относительно некоторого наименее предпочтитель­ного распределения вероятности с плотностью р*() и обладает тем свойством, что величина условного риска r(u_м(х), ) (2.11) для этого решения одинакова при всех значениях  для которых р*() отлична от нуля.

Рассмотрим в качестве примера достаточно общий случай, когда множество возможных значений  непрерывно и представляет собой все пространство некоторой произвольной размерности (если ={₁, ... ... _n} - n-мерный вектор, то это множество - n-мерное евклидово пространство). Множество решений U также непрерывно и имеет ту же структуру, то есть решение u = u(x) является оценкой .

Пусть функция потерь g(u, ) имеет вид

(5.2.1)

то есть является симметричной функцией разности u - ₁, и пусть существу­ет такая достаточная статистика z = z(x), для которой плотность рас­пределения вероятности выражается как

(5.2.2)

где Р - симметричная функция своего аргумента. Апостериорный риск для какого-либо произвольного распределения вероятности  с плот­ностью p() вычисляется по формуле

(5.2.3)

Предположим теперь, что априорное распределение вероятности  равномерно на всем множестве значений . Тогда с учетом свойств функций g и Р апостериорный риск

. (5.2.4)

Минимум апостериорного риска достигается при u - z = 0, в чем легко убедиться, например, дифференцированием (5.2.4) по компонентам век­тора u. Таким образом, при данном априорном распределении опти­мальное правило решения u(х) имеет вид

(5.2.5)

Найдем условный риск для этого правила. Поскольку u(х) зависит от х только через z = z(x), то

. (5.2.6)

или с учетом u(x) = z = z(x)

(5.2.7)

откуда следует, что условный риск не зависит от , равномерное рас­пределение  наименее предпочтительно, а правило решения (5.2.5) яв­ляется минимаксным.

С другой стороны, из (5.2.2) следует, что

(5.2.8)

достигается при ₁ = z, то есть достаточная статистика z = z(x) является оценкой максимального правдоподобия параметра ₁, которая может быть найдена путем максимизации исходной функции правдоподобия P(х|₁.), то есть из уравнения

, (5.2.9)

которое с точностью до обозначений совпадает с уравнением (2.2.2), при­веденным в гл. 2 в качестве уравнения, определяющего приближенное байесово решение задачи оценки при произвольном невырожденном распределении параметра  и высокой информативности данных наблюдения х относительно  в указанном в гл. 2 смысле. Теперь же мы убедились, что оценка максимального правдоподобия является также ми­нимаксной оценкой для произвольной симметричной функции потерь. Конечно, строго говоря, это имеет место, когда плотность распределения вероятности оценки максимального правдоподобия * = *(x) = z(x) имеет вид (5.2.2) (заметим, что это условие слабее, чем предположение о существовании эффективной оценки параметра , и выполняется в большинстве случаев), однако в действительности оценки максималь­ного правдоподобия обладают минимаксными свойствами в более широ­ких условиях.