6.7. Классификация наблюдений в случае нескольких многомерных нормальных совокупностей

Теперь мы применим теорию, изложенную в § 6.6, к слу­чаю, когда каждая генеральная совокупность распределена нормально (см. Мизес [1]). Предположим, что средние значения этих распределений различны, а их ковариацион­ные матрицы одинаковы. Пусть — распределение совокупности. Плотность этого распределения опре­деляется формулой (1) § 6.4. Предположим вначале, что параметры этих распределений известны. Для общих цен с известными априорными вероятностями можно опре­делитьт функцией (5) (см. § 6.6) и определить область как совокупность таких точек х, в которых j-я функция оказывается минимальной.

В дальнейшем в этой главе мы будем считать, что цены ошибочных классификаций равны. Используем функции

(О

Если априорные вероятности известны, то область R, опре­деляется как совокупность точек X, удовлетворяющих условиям

, k=1,..,,m; kj,(2)

Теорема 6.7.1. Если q_i — априорная вероятность того, что наблюдение производится над = (i=1, ..., т), и цены ошибочных классификаций равны между собой, то области классификации R₁ ..., R_m,, для которых математическое ожидание цены мини­мально, определяются из условия (2), где u_jk (x) полу­чается по формуле (I).

Следует отметить, что каждая из функций u_jk (x) есть классификационная функция, связанная с j-й и k-й генераль­ными совокупностями, и u_jk(x) = — u_kj(x). Так как эти функции являются линейными, то область , ограничена гиперплоскостями. Если векторы среднего значения входят в (m — 1)-мерные пространства (например, в случае, когда векторы линейно независимы ирт—1), то R_i огра­ничена т — 1 гиперплоскостями.

В случае, когда априорные вероятности неизвестны, об­ласть R_j определяется неравенствами

k=1,..., т. k j. (3)

Константы c_k можно взять неотрицательными. Эти множе­ства областей образуют класс допустимых методов. Для минимаксного метода эти константы определяются так, чтобы все P(i|i, R) были равны между собой.

Теперь покажем, как оценить вероятности правильной классификации. Пусть X—случайное наблюдение. Рас­смотрим случайные величины

(4)

Здесь . Таким образом, если векторы среднего значения принадлежат (т—1)-мерному пространству, то используется т(т- 1)/2 классификационных функций. Если X принадлежит , тораспределенагде

(5)

Ковариация между U_ji и U_jk равна

(6)

Чтобы определить константы , рассмотрим интегралы

(7)

где — плотность распределения вероятностей (i=1, 2, .... т) (i j).

Теорема 6.7.2. Если распределена и цены ошибочных классификаций равны между собой, то области классификации, R₁ . . ., R_m при которых условное математическое ожидание потерь минимально,

Рис. 11.

находятся из условий (3), где функции u_jk (х) даются формулой (1). Константы определяются так, чтобы интегралы(7) были равны между собой.

В качестве примера рассмотрим случай т = 3. Без огра­ничения общности можно считать, что р = 2, ибо плотность для больших значений р можно спроектировать на двумер­ную плоскость, определенную векторами среднего значения трех Генеральных совокупностей, если эти векторы неколлинеарны (т. е. вектор х можно преобразовать в вектор с координатами u₁₂, u₁₃ и р — 2 остальными координатами, причем последние не будут зависеть от u₁₂ и u₁₃ и будут иметь нулевые математические ожидания). Области как показано на рис. 11, определяются тремя полупрямыми. Если этот метод является минимаксным, то мы не можем передвинуть линию междуR₁ и R₂ ближе к , линию междуR₂ и R₃ ближе к и линию между R₃ и ближе к, сохраняя при этом равенство Р(1|1,R) = Р(2|2, R) = Р(3|3, R) и не выходя из треугольника, который не включается целиком ни в одну область. Таким образом, поскольку области должны исчерпывать все про­странство,- то линии Должны пересечься в точке, а равен­ство вероятностей определяет с_i — однозначно.

Чтобы сделать это в конкретном случае, в котором мы имеем числовые значения компонент векторов и элементов матрицы , мы рассмотрели бы три (р+1) совместных распределения, каждое из которых является распределением величины2U_ij(ji). Мы могли бы испытать значения с_i=0 и, используя таблицы (Пирсон [7]) дву­мерного нормального распределения, вычислить Р(i|i ,R). Методом проб и ошибок можно было бы получить , приближенно удовлетворяющие приведенным выше условиям.

Вся предшествующая теория излагалась в предположении, что параметры известны. Если же они неизвестны, но имеется выборка из каждой совокупности, то в определение функции u_ij,(x) можно подставить оценки параметров. Пусть наблюдения произведены над совокупностью

N(), i=1, .... т. Оценим величиной

(8)

а матрицу — матрицейS, определяемой из уравнения

(9)

Тогда аналогом функции и_ij(х) будет

(10)

Поскольку используемые здесь величины являются случай­ными, то полученные распределения будут отличны отраспределений U_ij. Однако при N_i совместные распреде­ления будут стремиться к распределениям . Следова­тельно, при достаточно больших выборках можно использовать изложенную выше теорию.