6.4.3. Случай 2. Все параметры неизвестны

Если _i, _i Р(_i) неизвестны и на матрицу ковариаций ограничения не наложены, то принцип максимума правдоподобия дает бесполезные вырожденные решения. Пусть p(x|, ²) — двух­компонентная нормальная плотность смеси

Функция правдоподобия дляп выборок, полученная согласно этому вероятностному закону, есть просто произведение п плотностей p(x_k|,²). Предположим, что =x₁, так что

Ясно, что для остальных выборок

так что

Таким образом, устремляя к нулю, мы можем получить про­извольно большое правдоподобие, и решение по максимуму правдо­подобия будет вырожденным.

Обычно вырожденное решение не представляет интереса, и мы вынуждены заключить, что принцип максимума правдоподобия не работает для этого класса нормальных смесей. Однако эмпирически установлено, что имеющие смысл решения можно все-таки получить, если мы сосредоточим наше внимание на наибольшем из конечных локальных максимумов функции правдоподобия. Предполагая, что функция правдоподобия хорошо себя ведет на таких максиму­мах, мы можем использовать соотношения (9)—(11), чтобы получить оценки для _i, _i и Р(_i). Когда мы включаем элементы матрицы _i, в элементы вектора параметров _i, мы должны помнить, что толь­ко половина элементов, находящихся вне диагонали, независимы. Кроме этого, оказывается намного удобней считать неизвестными параметрами независимые элементы матрицы ^-1_i, а не матрицы _i. После этого дифференцирование

по элементам _i, и ^-1_i не представляет труда. Пусть x_p(k)—p-й. элемент x_k, _p(i) p-й элемент _i, _pq(i)-pq-й элемент _i и ^pq(i) — pq-й элемент ^-1_i. Тогда

где_pq— символ Кронекера. Подставляя эти результаты в (10) и проделав некоторые алгебраические преобразования, мы получим следующие выражения для оценок `<sub>i</sub>,`_i,Р`(_i) по локальному максимуму правдоподобия:

где

Хотя обозначения внешне весьма усложняют эти уравнения, их интерпретация относительно проста. В экстремальном случае при (_i|x_k,), равном единице, если x_k принадлежит классу _i, и равном нулю в противном случае, оценка (_i) есть доля выборок из _i, оценка _i— среднее этих выборок и _i— соответствующая матрица ковариаций выборок. В более общем случае, когда (_i|x_k,) находится между нулем и единицей, все выборки играют некоторую роль в оценках. Однако и тогда оценки в основном — это отношения частот, средние выборок и матрицы ковариаций выборок.

Проблемы, связанные с решением этих неявных уравнений, сходны с проблемами, рассмотренными в п. 6.4.1. Дополнительная сложность состоит в необходимости избегать вырожденных решений. Из различных способов, которые можно применить для получения решения, самый простой состоит в том, чтобы, используя начальные оценки в (17), получить (_i|x_k,) и затем, используя соотношения (14)—(16), обновить эти оценки. Если начальные оценки очень хорошие, полученные, возможно, из достаточно большого множества помеченных выборок, сходимость будет очень быстрой. Однако результат зависит от начальной точки, и всегда остается проблема неединственности решения. Более того, повторные вычисления и обращение матриц ковариаций может потребовать много времени.

Значительного упрощения можно достичь, если предположить, что матрицы ковариаций диагональны. Это дает возможность умень­шить число неизвестных параметров, что очень важно, когда число выборок невелико. Если это предположение слишком сильно, то еще возможно получить некоторое упрощение, предполагая, что с матриц ковариаций равны, что тоже снимает проблему вырожденных ешений. Вывод соответствующих уравнений для оценки по максимуму правдоподобия для этого случая рассматривается в задачах 5 и 6.