§ 2. Различимые смеси и оценка параметров

В практических ситуациях обычно имеют дело с наблюдениями X₁, X₂, …, X_n, которые следует разнести в несколько однородных-групп (классов). Выше мы видели, что это можно сделать объективно только в том случае, когда наблюдения X_j (j = 1, 2, ..., n) получены из различимой смеси, плотность которой далее будет обозначаться через h(U).

Мы будем предполагать, что смесь h(U) является конечной смесью. Это ограничение объясняется тем, что по конечному числу n наблюдений нельзя определить бесконечное число компонент смеси. Мы будем предполагать также, что существуют плотности f(U|) у каждой. составляющей смеси, причем функции f(U|) - известные функции. своих аргументов U и .

Ранее было показано (см. главу I), что наблюдения X_j можно достаточно хорошо классифицировать, если удается хорошо оценить параметры _i и вероятности _i, и число компонент k, которые определяют смесь

.

Таким образом, для того, чтобы различить смесь h(U) или классифицировать X_j из выборки {X_j} (j = 1, 2, ..., n) следует оценить:

- число классов (компонент), входящих в смесь, т. е. число k различных функций f(U|) в смеси;

- доли каждого класса - вероятности _i;

- распределение каждого класса, т. е. оценить параметр _i или функцию f(U|_i).

Это означает, что следует оценить по данным X₁, X₂, …, X_n параметр , компонентами которого являются числа k, ₁, ₂, …,_k, (),₁, ₂, …, _k, т. e.

 = (k, ₁, ₂, …,_k, ₁, ₂, …, _k).

Отсюда следует, что при неизвестном k не определена даже размерность пространства неизвестных параметров.

В работе [6] доказано, что существуют состоятельные оценки всех этих параметров. Идея доказательства состоит в следующем. Различимость смеси означает, что по функцияопределена однозначно для любой(см. § 1 гл. II). По результатам наблюденийX₁, X₂, …, X_n, полученным из смеси , строится подходящая состоятельная оценка плотности смеси (см. § 3 гл I). Затем строится , которая оказывается состоятельной оценкой. Метод, которым доказано существование состоятельных оценок, мало пригоден для практических целей классификации. Поэтому в практических задачах еще более ограничивают класс смесей. Обычно рассматривается следующая схема (модель) получения наблюденийX_j.

Пусть имеется целочисленная случайная величина v (номер класса), принимающая значения 1, 2, ..., М (М - возможное число классов) с верояностями . Для каждого значенияv известно семейство плотностей

,

где  - конечное множество точек  (не более чем М₀) и  - параметр, принимающий какое-либо случайное, с распределением , но фиксированное значение для всей выборки. Выборка получена по следующему правилу: на каждом шагеt вначале разыгрывается значение v с вероятностями p_i, не зависящими от t, затем для каждого v = i выбирается , если этого не было сделано раньше, с помощью известного распределения p_i() и, наконец, по разыгрывается значение .

Таким образом, мы сталкиваемся с последовательностью точек X_t, которые распределены по закону

где , а ,p_i - вероятность того, что параметр принял значение _i. Некоторые p_i могут быть равны нулю, поэтому действительное число классов .

В этой модели мы имеем дело уже с пространством фиксированной размерности, поэтому задача классификации (различения смеси) несколько упрощается, так как нам следует оценить только параметры _i и _i, т. е. параметр по наблюдениямX_j из смеси . Дальнейшее упрощение модели уже связано с предположениями типа:

а) вероятности - известны, б) вероятности- известны.

В работе [8] приводится несколько алгоритмов состоятельного оценивания параметра , когда предположение а) не выполнено, а предположение б) выполнено. В предположении о различимости смесей, состоящих из компонент семейств F_v (т. е. ) и при некоторых дополнительных, довольно общих предположениях доказано, что байесовские оценкидляединственны и состоятельны. Более того, существуют числас, и зависящее от функций число s > 0 такие, что при

.

В работах [5] и [9] приводится обзор методов различения смесей, когда выполнены предположения а) и б) вместе. Эти методы основаны на определении апостериорных вероятностей параметров по априорным и имеют ряд серьезных недостатков как теоретического, так и вычислительного планов.

Далее мы остановимся подробнее на одном специальном случае оценки параметров смеси, для которого вычислительные процедуры достаточно просты и хорошо обоснованы.