Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

13.2Более двух переменных

Усложним рассматриваемую задачу. Пусть в нашем рассмотрении на-

ходится сразу p переменных X1; :::; Xp, у которых имеется m(1); :::; m(p) категорий соответственно. Обобщая предыдущие рассуждения, можно

собрать все данные нашего эксперимента в p-входовую таблицу и организовать изучение и сравнение возникающих в этой таблице профилей. Но полной аналогии все равно не получится: в задаче анализа соответствий мы строили облако точек, каждой из которых приписан некоторый вес, значения которого определялись второй наблюдаемой переменной, после чего прибегали к различным нормировкам, приходя в конце концов к обычным расстояниям между точками и поиску направлений, вдоль которых наши точки наиболее разбросаны. Здесь же единый вес точек ввести не удастся, и при буквальном следовании описанной схеме придется каждой точке приписывать векторный вес, что создаст дополнительные трудности. Поэтому ниже описаны два различных подхода оцифровки категорий многих переменных, основанные на других принципах. Заметим только, что оба эти подхода могут применяться и для случая двух переменных, причем результаты их применения совпадают с результатами работы алгоритма анализа соответствий, описанного в предыдущем разделе, хотя доказывать это мы здесь не будем.

Сначала опишем форму записи исходных данных, которая будет использоваться для обоих подходов. Каждой из наблюдаемых переменных Xj поставим в соответствие вектор-строку ~y(j) = (y1(j); :::; ym(j)(j)), где каждая из координат может принимать лишь значения 0 или 1, причем

если наблюдаемая переменная Xj приняла значение из своей k-é категории, то yk(j) = 1, а остальные yi(j) = 0 ïðè i = 1; :::; m(j); i 6= k: Теперь

каждому из n поставленных экспериментов мы поставим в соответствие

эксперименту. Заметим, что в каждом из ~

Ys ровно p единиц, причем в каждом из блоков ~y(j) находится ровно одна единица.

Расположив векторы ~

Ys; s = 1; :::; n по строкам, мы получим матри-

öó Y , имеющую n строк и m столбцов, у которой строки соответствуют экспериментам, а столбцы категориям наблюдаемых переменных. Эта матрица называется бинарной матрицей данных. Сумма всех ее элемен-

тов равна np.

13.2.1Использование бинарной матрицы данных в качестве матрицы соответствий

Один из подходов, который мы рассматриваем, связан с таким приемом:

будем считать, что матрица Y , построенная выше, представляет собой матрицу соответствий, к которой применим алгоритм анализа соответ-

ствий из предыдущего раздела. Тем самым, мы как бы объединяем p имевшихся переменных в одну с увеличенным числом категорий

задачу оцифровки, мы присвоим числовые метки всем категориям всех p исходных переменных. Правда, при этом и номера экспериментов также окажутся оцифрованными, т.е. мы сможем изображать повторения экс-

Аналогом матрицы относительных частот из предыдущего раздела будет

F = np1 Y;

сумма всех элементов этой матрицы равна 1, сумма элементов каждой строки, содержащей, как мы выяснили, ровно p единиц, равна 1=n. Äëÿ

столбцов матрицы F удобно ввести двойную нумерацию. Мы будем говорить, что работаем со столбцом (k; t), если этот столбец отвечает за k-ю категорию t-й переменной, k = 1; :::; m(t); t = 1; :::; p:

Пусть теперь n(k; t) число экспериментов, в которых k-я переменная приобрела значение из t-й категории. Тогда сумма (k; t)-го столбца матрицы F равна n(k; t)=np. В обозначениях предыдущего раздела

Матрицы D(1); D(2) имеют перечисленные выше элементы в качестве диагональных, в частности D(1) = (1=n)I, ãäå I единичная матрица порядка n.

164 Глава 13. Оцифровка

Нетрудно понять, что хи-квадрат расстояние между k-й категорией переменной Xs è j-й категорией Xr будет задаваться формулой

где первая из матриц имеет порядок m, а вторая n. У этих матриц будет общий набор ненулевых собственных чисел. Возьмем k первых из них 1; :::; k и пусть ~u1; :::; ~uk собственные векторы T (1), отвечающие

этим собственным числам и имеющие единичные длины. Тогда k-мерные числовые метки категорий переменных будут являться наборами коор-

динат с одинаковыми номерами у k векторов

Иногда, в силу меньшей размерности задачи, удобней сначала присво-

что, как мы знаем, с учетом (13.5) эквивалентно нахождению единичного

собственного вектора P , отвечающего ее максимальному собственному числу. Тем самым, задача решена.

В заключение этого подраздела давайте отметим, что из ранее введенных обозначений

pT (2) = Y D 1Y t = P:

Это равенство нетрудно проверить поэлементным сравнением матрицы Y D 1Y t c (13.6). Поскольку матрицы P è T (2) отличаются лишь число- вым множителем, то наборы собственных чисел и собственных векторов у них совпадают, что означает, что найденное сейчас решение полностью совпадает с тем, что было дано в предыдущем подразделе.

13.3О выборе размерности меток

Сделаем небольшое замечание о том, какой размерности должны быть метки, приписываемые объектам и категориям их характеристик (признаков). Имеется ввиду следующее: проще всего определить числовые метки, для чего при любом из рассмотренных выше подходах достаточно найти максимальное собственное число определенной матрицы и единич- ный собственный вектор, отвечающий этому собственному числу. Его координаты и будут искомыми числовыми метками для категорий признаков (или для объектов, если задача на поиск меток объектов оказалась решающейся легче, например, имеющей меньшую размерность). Оставшиеся невычисленными метки определяются по формуле типа (13.4).

Но одномерные метки иногда не позволяют уверенно произвести классификацию категорий и объектов, поскольку содержат весьма малую информацию, и большая часть исходной информации при таком грубом линейном приближении оказывается утерянной. Чтобы избежать этого, находят собственные векторы, отвечающие второму, третьему и т.д. собственным числам и из их координат формируют многомерные метки. Например, если найдены два собственных вектора, то двумерная метка

i-й категории будет представлять собой пару, в которой на первом месте располагается i-я координата первого собственного вектора, а на втором

i-я координата второго. Ясно, что этот процесс можно продолжать. На какой же размерности можно остановиться, чтобы считать, что потеряно относительно немного информации, и в то же время не слишком усложнять вычисления?

Поскольку речь идет о поиске собственных векторов, отвечающих наибольшим собственным числам, то можно попытаться применить тот же прием, что сработал в методе главных компонент, а именно изу- чить долю суммы уже использованных собственных чисел в полной их сумме. При этом сумма всех собственных чисел исследуемой матрицы нам известна она равна ее следу, т.е. сумме диагональных элементов. В частности, для матриц T (1) è T (2) эта величина равна m=p. Заметим в скобках, что у той из этих двух матриц, которая имеет больший порядок, обязательно имеется некоторое количество нулевых собственных чисел, т.к. в силу доказанного выше, наборы их ненулевых собственных чисел должны совпадать.

К тому же, поскольку сумма элементов любого из профилей равна единице, у каждой из этих матриц имеется максимальное собственное

168

число, равное 1. Если мы начнем работать с этим собственным числом, то набор получившихся меток окажется тривиальным все категории полу- чат одинаковые метки. Поэтому фактически работают всегда со вторым по величине собственным числом. Очевидно, все остальные собственные числа не превосходят единицы, поэтому вклад, обеспечиваемый суммой

первых q ненулевых собственных чисел в общую сумму собственных чи- сел, исключая неинформативную единицу, может быть оценен, как

что при достаточно большом суммарном числе категорий m оказывает-

ся весьма малым. (Напомним, что размерность меток q не может быть большим числом иначе теряется смысл решения.)

Таким образом, этот подход оказывается малопродуктивным. Чтобы выбрать размерность меток, обычно полагают достаточным рассмотреть все собственные числа, большие, чем среднее из всех положительных собственных чисел. Для того, чтобы снизить количество вычислений, оценим количество l ненулевых собственных чисел матриц T (i); i = 1; 2.

Для этого заметим, что, поскольку для каждой из матриц Yj; j = 1; ::; p, объединение которых дает матрицу Y , сумма каждого столбца

m(j) 1 линейно независимых столбцов, j = 1; :::; p. Конечно же, в этом рассуждении мы считаем, что n > m p + 1, как чаще всего и бывает, иначе более точной оценкой сверху для ранга Y , а именно он и фактически и оценивается, будет число экспериментов n.

Таким образом, последовательное вычисление собственных чисел и, следовательно, увеличение размерности приписываемых меток следует продолжать до тех пор, пока очередное собственное число не окажется

меньше, чем 1=p. Работать с меньшими собственными числами уже не имеет смысла.

13.4Пример

Для иллюстрации разработанных методов рассмотрим один достаточно условный числовой пример. Пусть среди групп мелких, средних и крупных производственных фирм выделены категории убыточных и доход-

ных. Всего изучалось 25 фирм, данные собраны в таблице (матрица N в ранее введенных обозначениях).

Поскольку строк меньше, чем столбцов, то займемся присвоением меток строкам при помощи метода анализа соответствий. Нетрудно вычислить суммарные относительные частоты строк:

Для столбцов аналогичные характеристики понадобятся для построения матрицы D(2):