книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

В математической статистике приняты следующие характеристики оценок.

Несмещенной называется такая оценка, для которой математическое ожидание оценки равно самой определяе­ мой величине.

Эффективной оценкой называется несмещенная оценка с минимальной дисперсией т. е. наиболее точная из всех

а)

тивностью

0 < е < і

б)

Рис. 4.

несмещенных оценок. Для остальных (неэффективных оценок) вводится количественная мера точности оценки е < 1, называемая эффективностью оценки, которая опре­ деляется отношением дисперсии эффективной оценки к дис­ персии данной оценки. Очевидно, что эффективность эф­ фективной оценки равна 1, а для остальных оценок е < 1. На основе этих определений можно ввести первоначальную классификацию оценок (рис. 4, а).

54 ГЛ. III. МЕТОДЫ ВОССТАНОВЛЕНИЯ РАСПРЕДЕЛЕНИЙ

Эта классификация предназначена для характеристик оценок, полученных на выборках малого объема. Для выборок большого объема предлагается несколько иная система классификации, в которую введены понятия асимптотически несмещенных, состоятельных и эффектив­

§ 3. Метод максимума правдоподобия

Метод максимума правдоподобия в задаче о восстанов­ лении плотности распределения вероятностей в классе функций Р (х, а) связан с исследованием так называемой функции правдоподобия Фишера. Функция правдопо­ добия задается на выборке хг, . . ., х х и имеет вид

быть истолкована как плотность совместного распределе­ ния величин xt, . . ., хі.\

Таким образом, каждой выборке может быть поставле­ на в соответствие функция правдоподобия (рис. 5). Метод максимума правдоподобия состоит в том, чтобы в качестве

г— 1

Максимум функций (3.4) и (3.4') совпадают и, следова-

•гельно, оценки максимума правдоподобия могут быть найдены как корни урав­ нения

Теория метода призвана оценить, насколько «хорош» пред­ лагаемый способ оценивания параметров. Эта теория до­ статочно полно разработана. Подробное исследование свойств оценки максимума правдоподобия можно найти в работах [2, 621.

Основное содержание теории заключается в том, что для определенных функций Р (х, а) (которым заведомо принадлежат оба класса рассматриваемых распределе­ ний вероятностей) метод максимума правдоподобия! обеспечивает асимптотическую несмещенность и асимп-І тотическую эффективность оценки.

§ 4. Байесов принцип восстановления

Байесов принцип восстановления плотности распреде­ ления основан на использовании формулы Байеса:

Пусть известна априорная плотность распределения вероятностей Р (а) вектора параметров а, которая харак­ теризует предполагаемую возможность осуществления различных значений а до того как проведен эксперимент

56 ГЛ. III. МЕТОДЫ ВОССТАНОВЛЕНИЯ РАСПРЕДЕЛЕНИЙ

(дана выборка). Апостериорная вероятность Р (а | хх, . . .

. . хі) характеризует возможность осуществления раз­ личных значений а после того, как к априорному знанию добавлено знание, извлеченное из экспериментальных данных хх, . . ., х х. В этом случае формула Байеса ут­ верждает, что апостериорная вероятность параметра а получается умножением априорной вероятности на функ­

цию правдоподобия

I

Ь(хх, ..., ж,Iа) = П * ( * И І—1

Р(хъ ..., хі) = '21Ь(хі, ..., хі I ак) Р (afc),

если значения параметра а дискретны.

Таким образом, с помощью формулы Байеса по апри­ орному распределению вероятностей параметров а и ре­ зультатам эксперимента может быть вычислена плотность апостериорного распределения вероятностей Р (а \ хх, . . .

• • •» ®і)*

Теперь задача заключается в том, чтобы, зная плот­ ность Р (a I хх, . . ., Ж(), определить искомый параметр.

Здесь может быть несколько идей оценивания.

1. В качестве искомого значения вектора параметро выбирается такое а, которое доставляет максимум функ­ ции Р (а \ х1, . . ., хі).

É2. В качестве искомого значения вектора параметров выбирается математическое ожидание значения а, т. е.

a = § aP(ajxl t ..., xt) da.

3. Принята и такая идея восстановления, когда с по­ мощью плотности распределения Р (а | хх, . . ., хі) кон­ струируется плотность Р (X) по правилу

т. е. в качестве оценки выбирается математическое ожи­ дание плотности Р (х I а). Вообще говоря, полученная

в результате восстановления (3.5) плотность Р (х) вовсе не должна принадлежать рассматриваемому параметри­ ческому семейству Р (х , а). Поэтому, строго говоря,

рассматриваемый метод конструирования плотности Р (х) нельзя называть восстановлением функции в классе Р (X, а), тем не менее он получил название байесовой стра­

тегии восстановления функции Р (х).

Байесова оценка плотности распределения вероят­ ностей обладает замечательной особенностью, делающей получение ее крайне желательной. Она реализует опти­ мальную стратегию в следующей игре с «природой». Игра состоит в том, чтобы «угадать» ход, сделанный при­ родой. Функция Р (а) задает вероятность того, что при­ рода назначит вектор а = а0 в качестве параметра плот­ ности распределения Р (х, а). Пусть теперь дана выборка

задать такую функцию я (х; х^, . . ., хі), которая была бы как можно «ближе» к Р (х, а 0). «Партия» в такой игре определяется стратегией природы а = а0, стратегией

Средний проигрыш игрока в игре определяется выраже­ нием

\ I = §D (а; хъ ..., х,) Р (а) Р (хъ ..., Хі\а)йхъ ..., dxt da, (3.7)

Минимум этого слагаемого равен нулю и достигается тогда, когда

я (ж; жх, . . ., хі) = Р (ж).

§5. Сравнение байесова метода оценивания

иоценивания методом максимума правдоподобия

Рассмотренные методы оценивания не являются рав­ нозначными ни по сложности их реализации, ни по эф­ фекту, который может быть с их помощью получен. Наи­ большую трудность в реализации метода максимума прав­ доподобия представляет отыскание решения системы уравнений

Хотя система уравнений, вообще говоря, не является линейной, численное решение ее не составляет принци­ пиальной трудности, тем более что для широкого класса функций существует лишь единственное решение (3.9).

Реализация байесовой стратегии — задача значитель- „ но более трудная. Как правило, эта стратегия может быть реализована лишь тогда, когда удается провести

60 ГЛ. III. МЕТОДЫ ВОССТАНОВЛЕНИЯ РАСПРЕДЕЛЕНИЙ

аналитическое интегрирование выражения

(вектор а обычно имеет большую размерность).

В свою очередь метод максимума правдоподобия менее привлекателен чем байесов: теория гарантирует лишь асимптотическую эффективность метода.

Байесова процедура имеет интерпретацию оптимальной стратегии в игре с известной смешанной стратегией про­ тивника. Правда, при ее реализации требуются сведения о плотности априорного распределения параметров а, что не всегда имеется у исследователя. Однако известно (теорема С. Н. Бернштейна), что влияние априорных сведений на получение апостериорной плотности распре­ деления вероятностей падает с ростом объема выборки. В случае, когда нет никаких иных сведений, обычно поль­ зуются равномерным законом априорных распределений параметров а. Таким образом, ситуация такова, что при оценивании плотности распределения желательно полу­ чить байесову оценку, хотя найти ее часто бывает крайне трудно. Когда получение байесовой оценки невозможно, используются оценки метода максимума правдоподобия.

Ниже, для первого класса распределений будут при­ ведены оценки параметров методом максимума правдо­ подобия и байесовы оценки. Для второго класса распре­ делений будут приведены оценки параметров методом максимума правдоподобия; будет показано, в чем состоят трудности при получении байесовых оценок, и, наконец, будут найдены байесовы оценки для некоторых специ­ альных видов ковариационных матриц Д.

§ 6. Оценка параметров распределения дискретных независимых признаков

Итак, пусть координаты вектора х распределены не­ зависимо и, кроме того, каждая координата х* вектора х может принимать тг значений, т. е. известно, что

П

Р(х, р) = ПР р1),

г=*1