книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

§ 2. Р А З Л И Ч И М Ы Е С М Е С И И О Ц Е Н К А П А Р А М Е Т Р О В

В практических ситуациях обычно имеют дело^с наблюдениями

из различимой смеси, плотность которой далее будет обозначаться через h (U).

Мы будем предполагать, что смесь h (U) является конечной смесью. Это ограничение объясняется тем, что по конечному числу п наблю­ дений нельзя определить бесконечное число компонент смеси. Мы будем предполагать также, что существуют плотности / (U | Ѳ) у каждой составляющей смеси, причем функции / (U | Ѳ) — известные функции своих аргументов U и Ѳ.

Ранее было показано (см. главу I), что наблюдения Xj можно достаточно хорошо классифицировать, если удается хорошо оценить параметры Ѳг и вероятности я г, и число компонент k, которые опреде­ ляют смесь

h(U)= 2 ni f(U\Qi).

І = 1

Таким образом, для того, чтобы различить смесь h (U) или класси­ фицировать Xj из выборки {Xj} (/ = 1, 2, ..., п) следует оценить:

—число классов (компонент), входящих в смесь, т. е. число k различных функций / (Л/ | Ѳг) в смеси;

—доли каждого класса — вероятности яф;

—распределение каждого класса, т. е. оценить параметр Ѳг или функцию / (U I Ѳг).

Это означает, что следует оценить по данным Х г, Х 2, ..., Х п пара­

Отсюда следует, что при неизвестном k не определена даже размер­ ность пространства неизвестных параметров.

В работе [6] доказано, что существуют состоятельные оценки всех этих параметров. Идея доказательства состоит в следующем. Разли­

чимость смеси h (U) = J / (U I ѲdG (Ѳ) означает, что по h (U) £ Н функция G (Ѳ) = Gh (Ѳ) определена однозначно для любой h £ Н (см. § 1 гл. II). По результатам наблюдений Х г, Х 2, ..., Хп, получен­ ным из смеси к (U), строится подходящая состоятельная оценка плот­

ности смеси h (U) (см. § 3 гл I). Затем строится G (Ѳ) = G% (Ѳ), которая, оказывается состоятельной оценкой G (Ѳ). Метод, которым доказано существование состоятельных оценок, мало пригоден для практичес­ ких целей классификации. Поэтому в практических задачах еще бо­ лее ограничивают класс смесей. Обычно рассматривается следующая схема (модель) получения наблюдений Xj.

63

Пусть имеется целочисленная случайная величина ѵ (номер класса),

принимающая значения 1, 2, М (М — возможное число классов)

м

где Ѳ — конечное множество точек Ѳ (не более чем М 0) и Ѳ— параметр, принимающий какое-либо случайное, с распределением рѵ (Ѳ), но фик­

сированное значение для всей выборки (X)', Х\, ..., XJ, ...}. Выборка получена по следующему правилу: на каждом шаге t вначале разыг­ рывается значение ѵ с вероятностями ріу не зависящими от t, затем

параметр принял значение Ѳг. Некоторые pt могут быть равны нулю, поэтому действительное число классов k ^ М.

В этой модели мы имеем дело уже с пространством фиксированной размерности, поэтому задача классификации (различения смеси) несколько упрощается, так как нам следует оценить только параметры Ѳг и itj, т. е. параметр Ѳ = (яг, Ѳг) по наблюдениям Xj из смеси h (U). Дальнейшее упрощение модели уже связано с предположениями типа:

V = 1

и при некоторых дополнительных, довольно общих предположениях

доказано, что байесовские оценки Ѳдля Ѳединственны и состоятельны. Более того, существуют числа с, 0 < с <Z <х>, % > 0 и зависящее от функций f (U\Q) число s > 0 такие, что при п > п0

М{IѲ—Ѳ||2}^ cn~s.

Вработах [5] и [9] приводится обзор методов различения смесей, когда выполнены предположения а) и б) вместе. Эти методы основаны на определении апостериорных вероятностей параметров Ѳг по апри­

орным и имеют ряд серьезных недостатков как теоретического, так и вычислительного планов.

Далее мы остановимся подробнее на одном специальном случае оценки параметров смеси, для которого вычислительные процедуры достаточно просты и хорошо обоснованы.

64

§3. СМЕСИ И МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

1.Общие свойства метода

Рассмотрим задачу классификации наблюдений, когда известны виды плотностей, каждая из которых определяет однородную гене­ ральную совокупность — класс. Параметры совокупности неизвестны,

где f (U I Ѳ;) — плотность распределения вероятностей в і-ш классе, который определяется векторным параметром Ѳг.

В предположении, что смесь h (U) — различима, можно ставить задачу о классификации членов последовательности {Х;} на& классов. Задача классификации была бы решена, если бы удалось оценить не­ известные Я; и Ѳг по результатам наблюдений Х ъ Х 2, ..., Х п. Подход, использующий метод максимального правдоподобия для оценивания

Требуется определить такую точку Ѳ, для которой

InL (é) = шах ln L (Ѳ),

ѳ 6 в

где Ѳ — множество допустимых значений параметров. Обозначим через Р (і I Xj) вероятность наблюдать класс і при получении точки

Xj, тогда в соответствии с правилом вычисления условных, в данном случае так называемых апостериорных вероятностей

k

Введем вспомогательные величины gi} ^ 0, такие, что 2 ёи — 1

г=1

для любого /. В этом случае выражение для ln L (Ѳ) можно предста­ вить в виде

^ i mf(Xj\Qi)

/ = 1

и использовать итерационную процедуру для определения точки Ѳ,

вкоторой достигается максимум ln L (Ѳ). Итерационная процедура состоит в следующем.

П

66

к величине Р (i\Xj) имеется возможность классифицировать наблю­ дение Xj. Для этого можно использовать правило классификации, состоящее в том, что наблюдение Xj относится к классу і0, если

Р(і01X j ) — max P(i\Xj).

Вработе [2] доказана

итерационной процедуры, то

Нт [Р(< + 1) (i I X })— Pi*>(i j Xj-)] = 0.

Рассмотрим подмножество Ѳ0 множества Ѳ, состоящее из таких точек, которые не изменяются за один шаг итерационной процедуры. Это множество естественно назвать множеством неподвижных точек.

Можно доказать [2], что справедлива

то при числе итераций t -> оо сходится к одной из точек Ѳ и эта точка является решением системы уравнений

д ln L (Ѳ) _ Q

Система уравнений, записанная в теореме 3, является хорошо из­ вестной системой уравнений правдоподобия, которая может быть

1 В работе [2] не указано условие ограниченности in L (0), которое необхо­ димо для доказательства теоремы 2.

68

для Ѳ; = (Ѳі;, Ѳ2), как указано в [4], представлена в виде

я,-

Множество решений уравнений правдоподобия Ѳх шире, чем мно­ жество неподвижных точек Ѳ0 итерационной процедуры, так как кро­ ме точек максимумов множество Ѳх содержит множество точек мини­ мумов функции правдоподобия, некоторые точки перегиба и т. д. Поэтому естественнее находить процедуры определения максимума ln L (Ѳ), а не процедуры решения уравнений правдоподобия.

2. Смеси нормальных классов

Исследуем теперь задачу оценки параметров смеси, состоящей из известного числа k классов. При этом известно также, что каждый объект X класса і представляет собой элемент нормальной генеральной

Легко проверить [3], что в этом случае

exp [а/ Kj + ßi]

P(i\Xj)

2exp [агХу- + ßj]

i= 1

где

Учитывая результаты предыдущего параграфа, нам следует опре­ делить процедуру, которая максимизировала бы

для at и 2 , или, учитывая замечание 2, определить процедуру, которая максимизировала бы

S1 п Іг =

і= 1

69

если только Р^Ці \ X t)-= g\j каким-либо способом уже получены. Эта процедура даст нам величины Ѳц-+1)-=а(/ +1) для (гЧ~1)-го шага

Для простоты их формулировки будем опускать индекс t, подчер­

V

70

Доказательство этой леммы совершенно аналогично доказатель­ ству леммы 3.2.1 из работы [1, с. 66].

Далее, используя рассуждения, аналогичные тем, которые приве­ дены в работе [1, с. 66—67], получим, что

71

то точка Ѳ = (jtjL, я 2, nh, аь а2, ..., ak, 2) является точкой макси­ мума функции правдоподобия, возможно, правда, что этот максимум

Именно такая итерационная процедура предлагается в работе [3]. З а м е ч а н и е . Точки, для которых Р (i [X,-) = l/k являются

неподвижными точками итерационной процедуры, но представляют собой посторонние точки, так как в этом случае а* = а (і = 1, 2, ..., k).

В случае двух классов (k = 2), как показано в работе [3], проце­

2 P{0){i\Xj).

Далее определяются уточнения а и ß следующим образом:

Ѵ-Наі0)- а [ 0])___________

і - п(°) (1 - я (0)) (4 °> -4 °> )' У - 1( 4 ° ) - 4 ° ) )

Подставляя а (1) и ß (1) вместо а (0) и ß (0), можно итерационную процедуру продолжить до тех пор, пока значения а и ß не перестанут

изменяться. Далее, после того как значения а и ß установятся, можно определить оценку ковариационной матрицы

У[={ X j - â i) ( —x j - â 1y p ( i \ x ])У +

лтЛ П

/= 1

+ (X j- "a 2) ( X j - â 2) ’ P (2 \X i)].

72