Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

Рис. 12.1: Точки-годы в латентных координатах по методу Бартлетта

f(2)

6

*60

Выделив латентные факторы, мы фактически понизили размерность задачи (в рассматриваемом примере с p = 3 äî q = 2), è ýòî äàåò íàì

возможность представить облако точек, задаваемое координатами ~

f â q-

мерном пространстве и, тем самым, провести классификацию изучаемых объектов по близости точек, их представляющих. Для рассматриваемого примера соответствующий рисунок имеет вид, приведенный ниже. Там изображены точки, получающиеся в координатах, рассчитанных по методу Бартлетта. По методу Томсона картина оказывается в принципе такой же.

152 Глава 12. Факторный анализ

154 Глава 13. Оцифровка

чение своей i-é, à X2 своей j-é категории, i = 1; :::; m(1); j = 1; :::; m(2): Конечно же,

m(1) m(2)

X X

ni;j = n:

i=1 j=1

Поделив все элементы матрицы M íà n, получим матрицу, элементы которой являются оценками вероятностей того, что двумерный случайный вектор (X(1); X(2)) попадет в "прямоугольник", проекция которого

на первую координату есть фиксированная категория X(1), а на вторую

некая категория X(2). Обозначим эту матрицу F .

Нам будет важно иметь оценки условных вероятностей того, что одна из переменных попала, например, в i-ю категорию, если мы знаем, что

вторая попала в j-ю категорию. Это будут числа

1; :::; m(1). Мы примем на вооружение интерпретацию i-й категории пер-

Эти числа представляют собой суммы строк и столбцов матрицы F соответственно.

13.1.1Расстояние хи-квадрат

Теперь мы можем определить хи-квадрат расстояние между профилями. Так, хи-квадрат расстоянием между i-é è k-й категорией X(1), i; k =

1; :::; m(1) называется

Аналогично, хи-квадрат расстояние между j-é è s-й категориями X(2),

j; s = 1; :::; m(2) ýòî

2(j; s) = m(1) (qi;j qi;s)2 :

X

i=1 fi;:

Для многих задач обработки данных, таких например, как изучение зависимостей или проблема снижения размерности задачи, поиск оптимальных меток производится именно по критериям, выраженных в терминах расстояния хи-квадрат.

Введенные расстояния особенно полезны благодаря следующему свойству инвариантности

Теорема 20 Если две категории какой-либо из переменных обладают одинаковыми профилями, то объединение их в одну категорию не приве-

дет к изменению хи-квадрат расстояний между категориями второй переменной.

Доказательство. Без ограничения общности будем считать, что оди-

156 Глава 13. Оцифровка

q10 ;j = (1 + )q1;j:

Если мы рассматриваем хи-квадрат расстояния между t-é è s-й категориями второй переменной, то и до, и после объединения категорий они будут состоять из одних и тех же слагаемых, лишь два слагаемых

в сумме до объединения заменятся на одно после него. Это слагаемое имеет вид

Но, в свою очередь,

и, тем самым, утверждение доказано. Доказательство теоремы завершает то, что если мы объединяем другие категории, то просто достаточно предварительно перенумеровать их так, чтобы они приобрели номера 1 и 2, а если мы объединяем категории второй переменной, то доказательство остается тем же с точностью до очевидных переобозначений.

Каждой из точек, соответствующих категориям X(2) припишем свой

вес, равный f:;j; j = 1; :::; m(2); и аналогично точкам, интерпретирующим

категории X(1), припишем веса fi;:; i = 1; :::; m(1). Введем также для удобства матричной записи диагональные матрицы

~

тогда для расстояний хи-квадрат между векторами ~a è b â m(i)-мерном пространстве справедливы формулы

Полностью аналогично можно ввести матрицу рассеивания для категорий второй переменной:

T (2) = (D(1)) 1=2F t(D(2)) 1F (D(1)) 1=2:

Эти матрицы являются аналогами корреляционных матриц для нечи- словых переменных.

Будем искать такое направление ~u

категорий первой переменной) на него1разбросаны,что проекциинаиболееточексильно-строк .(тНо.е.

такая задача уже решалась нами, когда мы изучали метод главных компонент. Мы знаем, что эта задача эквивалентна нахождению собствен- ного вектора матрицы T (1), отвечающего ее наибольшему собственному числу. Можно было подойти к поставленной задаче с другой стороны, и

искать направление наибольшего разброса для точек-столбцов, что приведет к задаче на собственные числа матрицы T (2).

Пусть

= (D(1)) 1=2F (D(2)) 1=2;

тогда

коллинеарны векторам, координаты которых суть проекции нормирован-

X(1); X(2) соответственно. Заметим также, что процесс этот можно усложнить, находя второе, третье и т.п. собственные числа матриц T (i); i = 1; 2 в этом случае каждой из категорий будет соответствовать двух-, трех- и т.д. мерная метка, что позволит изображать категории строчек и столбцов точками в пространствах все более высокой размерности (обычно ограничиваются плоскостью, т.е. находят два собственных вектора и каждой категории сопоставляют двумерную точку). При этом замечательным фактом является то, что и категории X(1), и категории X(2) изображаются в одном пространстве, что дает возможность по крайней мере визуально оценить близость категорий различных переменных друг к другу в смысле их взаимодействия.

Нелишне также будет напомнить, что одной из самых обычных задач, решаемых по таблице сопряженности, с которой мы, собственно, и начинали, является проверка гипотезы независимости.

13.1.2Оцифровка для задач дискриминантного анализа

Как уже упоминалось, присвоение меток часто связано с решаемой далее задачей обработки данных. Например, дискриминантный анализ решает очень специфические задачи, основанные на принципиально (на первый взгляд) других мерах различия, чем введенное выше расстояние хи-квадрат. Разберем эту ситуацию.

Пусть у нас имеется один качественный (нечисловой) показатель X, а также обучающая выборка для проведения классификации на q классов. Предположим, что наблюдаемый показатель X может попадать в одну их m категорий. Мы поставим в соответствие каждой из категорий

обучающей выборки.

Ниже мы увидим, что присвоенные метки будут однозначно определяться этой матрицей F . Как и раньше, пусть

Мы интерпретируем f

му объекту попасть в s;: как (априорную) оценку вероятности очереднообъекту иметь s-é класс, а f:;k вероятности наугад выбранному

k-þ категорию, s = 1; ::; q; k = 1; :::; m:

Основным критерием для отнесения в данный класс для нас будет величина расстояний показателя вновь поступающего на изучение объекта до центров классов, рассчитанных по обучающей выборке, нормированная соответствующей дисперсией. Поэтому, чтобы классификация была более уверенной, надо, чтобы центры этих классов были бы максимально удалены друг от друга, что означает, что они должны иметь максимальный разброс относительно взвешенного среднего этих центров.

160 Глава 13. Оцифровка

Тогда нам нужно найти такой набор меток, чтобы величина, оцениваю-

щая среднюю взвешенную меру отклонения расстояний M(s;~c) îò M(~c) в единицах дисперсии была бы максимальной:

Здесь тоже наложим на метки условия нормировки

Тогда (13.2) перепишется в виде