книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

Г л а в а IV

МЕТОДЫ СНИЖЕНИЯ РАЗМЕРНОСТИ

В настоящей главе мы остановимся на некоторых линейных методах сокращения размерности факторного пространства, т. е.

пространства исследуемых признаков. Во многих исследовательских работах исходное число р рассматриваемых, т. е. замеряемых на ис­ следуемых объектах, признаков довольно велико, но тем не менее эти измерения следует обработать и осмыслить. Для наглядности картины, простоты интерпретации и упрощения счета очень часто необходимо представить каждое из наблюдений в виде набора чисел, состоящего из существенно меньшего (чем р) количества признаков. При этом остав­ шиеся признаки могут либо выбираться из числа исходных, либо опре­ деляться по какому-либо правилу по совокупности исходных призна­ ков, например как линейные комбинации последних. При формиро­ вании новой системы признаков к последним предъявляются разного рода требования, такие, как наибольшая информативность с точки зре­ ния правильного разбиения наблюдений на классы, взаимная некор­ релированность, наименьшее искажение внутренней и внешней гео­ метрической структуры множества исходных наблюдений и т. п. В за­ висимости от варианта формальной конкретизации этих требований мы будем приходить к тому или иному алгоритму снижения размерности.

§ 1. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

Главные компоненты представляют собой новое множество иссле­ дуемых признаков

У1", г/(2), .... У[р),

каждый из которых получен в результате некоторой линейной комби­ нации, непосредственно измеренных на объектах, исходных признаков х(1>, х(2), ..., Полученные в результате такого преобразования новые признаки г/(1), у(2), ..., обладают рядом удобных статисти­ ческих свойств. В частности они упорядочены по степени рассеяния в изучаемой совокупности объектов; первый признак обладает наиболь­ шей степенью рассеяния, т. е. наибольшей дисперсией.

Действительно, во многих задачах обработки многомерных наблю­ дений и, в частности, в задачах классификации исследователя интере-

134

суют в первую очередь лишь те признаки, которые обнаруживают наи­ большую изменчивость (наибольший разброс) при переходе от одного объекта к другому. Так, например, при классификации «семей-потреби­ телей» с целью выявления типологии потребления многие из замеряе­ мых по каждой из семей признаков, таких, как душевое потребление хлеба, масла, мыла и некоторых других основных статей, вряд ли будут обнаруживать существенное различие, следовательно, не сыграют почти никакой роли в процедуре обоснованного разбиения совокупно­ сти исследуемых семей на различные типы потребителей.

С другой стороны, не обязательно для описания состояния объекта использовать какие-то из исходных, непосредственно замеренных на нем признаков. Так, например, для определения специфики фигуры че­ ловека при покупке одежды достаточно назвать значения одного из двух признаков (размер-рост), являющихся какими-то производными от измерений ряда параметров фигуры. При этом мы, конечно, теряем ка­ кую-то долю информации (портной измеряет пять-шесть признаков на своем клиенте!), как бы огрубляя (агрегируя) получающиеся при этом классы. Однако, как показали исследования, к вполне удовлетвори­ тельной классификации людей с точки зрения специфики их фигуры приводится система, использующая три признака, каждый из которых является некоторой комбинацией от большего числа непосредственно замеряемых на объекте параметров.

Для пояснения сущности того линейного преобразования исходной системы признаков, которое приводит к так называемым главным ком­ понентам, рассмотрим его геометрическую интерпретацию на примере двумерной системы наблюдений (х)11, х)2’), і — 1, 2, ... п, извлечен­ ной из нормальной генеральной совокупности со средним значением

а г — коэффициент корреляции между ними. Геометрически это озна­ чает, что точки (хр>, х)2>) будут располагаться примерно в очертаниях

В этом случае для изучения (х(1), х(2)) удобно перейти к новым ко­ ординатам (уП), г/<2)) с помощью преобразования:

г/d) =(*U)—а (1>)cosa + (x<2) —a(2>)sin a,

г/(2) = — (x<J) —пД)) sin a -f- (x(2>—a(2>) cos a,

где

135

X № •

х(г)

S

Рис. 4.1. Эллипс рассеяния исследуемых наблю­ дений и направление координатных осей глав­ ных компонент г/<‘> и р<2): а) умеренный раз­ брос точек; б) отсутствие разброса точек в на­ правлении второй главной компоненты (вырож­

денный случай)

136

геометрически это будет означать следующее: сначала производится перенос начала координат в точку (а*1*, а(2>), а затем оси поворачи­ ваются на угол а так, чтобы ось у шла вдоль главной оси эллипсои­ да рассеивания (рис. 4.1а). Чем ближе [ г | к единице, тем теснее груп­ пируются наблюдения около главной оси эллипсоида рассеивания (т. е. около новой оси */<■>) и тем менее значащим для исследователя яв­

(т. е. совокупности всех мыслимых наблюдений), определяемой соот­ ветствующей вероятностной мерой. Однако для приводимых здесь поня­ тий из всех характеристик исследуемой генеральной совокупности су­

произвольные постоянные числа), то будем в дальнейшем считать, что

Назовем первой главной компонентой исследуемой генеральной совокупности наблюдений такую нормированную линейную комбина­ цию р исходных признаков х(1), х<2>, ..., х(р),

л:(1>, х (2), ..., х (р> обладает наибольшей дисперсией.

137

и, во-вторых [2, с. 371], вектор /г, определяющий преобразование пере­ хода отх^), х<2>, ..., х<р) к уб) является так называемым і-м собствен­ ным вектором ковариационной матрицы 2, т. е. его компоненты /г1,

Под I М I подразумевается определитель матрицы М, под I —так назы­ ваемая единичная матрица, а под X — неизвестное число [2].

Из сопоставления (4.4), (4.5) и (4.6) вытекает, что

Опираясь на то, что преобразование

L=

спомощью которого осуществляется переход от исходных компонент X к главным компонентам Y (Y = LX), является ортогональным [2],

138

нетрудно выразить исходные переменные л:<1>, х& \ ..., х<р>через глав­ ные компоненты

сумме дисперсий (DxO) + Dx(2>+ ... + Dx<p>) исходных признаков. Это дает исследователю некоторую основу, опорную точку зрения, при вынесении решения о том, сколько последних главных компонент можно без особого ущерба изъять из рассмотрения, сократив тем самым

размерность исследуемого пространства.

Действительно, анализируя изменение относительной доли дис­ персии

139

в которой — значение q-я компоненты исследуемого вектора X, за­ меренное на ѵ-м объекте, Xyq) — соответствующее центрированное на­ блюдение, а X<?> — среднее значение q-я компоненты по всем обследо­ ванным объектам, т. е. x^) = [x[q) + x ^ + ... + x ql)/n.

Главные компоненты, вычисленные на основании элементов а ^ вы­

борочной матрицы 2, называют обычно выборочными главными компо­ нентами, или главными компонентами выборки, в отличие от главных компонент генеральной совокупности. В тех случаях, когда нам важно будет отличать главные компоненты выборки от главных ком­ понент генеральной совокупности, мы будем снабжать первые (и все

наиболее естественным и плодотворным в ситуациях, в которых все компоненты х*1', х<2)....... х<г> исследуемого вектора X имеют общую физическую природу и соответственно измерены в одних и тех же еди­ ницах. К таким примерам можно отнести исследование структуры бюд­ жета времени индивидуумов (все хО') измеряются в единицах време­ ни), исследование структуры потребления семей (все xO') измеряются в денежных единицах), исследование общего развития и умственных способностей индивидуумов с помощью специальных тестов (все х<‘> измеряются в баллах), разного рода антропологические исследования индивидуумов (все х(г) измеряются в единицах меры длины) и т. д. Если же различные признаки х([>, х<2>, ..., х<р) измеряются в раз­ личных единицах, то результаты исследования с помощью главных компонент будут существенно зависеть от выбора масштаба и природы единиц измерения. Поэтому в подобных ситуациях исследователь пред­ варительно переходит к вспомогательным безразмерным признакам X*«'), например, с помощью нормирующего преобразования

где оц соответствует обозначениям формул (4.1) и (4.11), а затем строит главные компоненты относительно этих вспомогательных признаков

140

где a>kj — некоторые дополнительно введенные веса. Очевидно, при (ohj = 1 при k = j и ü)hj — 0 при k Ф / мы имеем обычное условие нор­ мировки коэффициентов l(j и обычные главные компоненты. Можно показать [29], что при такой модификации условий нормировки коэф­

а матрица Q = (ыц), і, / = 1,2, ..., р, — некоторая положительно оп­ ределенная матрица весов. При этом, как и прежде, дисперсия обоб­

щенной главной компоненты уМ равна А,іу а г/<‘> и г/(/> при і ф } взаимно некоррелированы.

Заметим, кстати, что если в качестве матрицы весов выбрать матрицу

то, как легко показать, обобщенные компоненты (в метрике П), по­ строенные по исходным признакам хР>, ..., совпадут с обычны­ ми компонентами, построенными по вспомогательным безразмерным (нормированным) признакам х**1*, ..., х*(р) (4.12).

Проиллюстрируем определение главных компонент на численном примере, заимствованном из [26].

П р и м е р 1. По данным измерений (в мм) длины (х<Р), ширины

(х<2>) и высоты (х<3>) панциря 24 особей (п = 24) одного из видов черепах по формуле (4.11) определена выборочная ковариационная матрица

Решая, в соответствии с (4.6), кубичное уравнение (относительно А) вида

находим

А, = 680, 40, А2 = 6,50, А3 = 2,86.

141

В качестве главных компонент получаем

г/<» = 0,81x(D + 0,50*<2>+ 0,31И3>, г/(2) = —О.ббл:«1) + 0,83x<2>+ 0,10х<3>,

г/<3>= — 0,2\x<l) — 0,2bxW + 0,95х<3>.

Вычисление относительной доли суммарной дисперсии, обусловлен­

Отсюда можно сделать вывод, что почти вся информация о специфи­ ке размеров панциря данного вида черепах содержится в одной лишь первой главной компоненте, которую и естественно использовать при соответствующей классификации исследуемых особей.

2. Экстремальные свойства главных компонент. Их интерпретация)а

а) Свойство наименьшей ошибки «автопрогнозау> или наилучшей самовоспроизводимости. Можно показать [27], [29], [28], что с помощью первых р' главных компонент у&\ у<-2\ ..., у (р,) (р' <. р) исходных признаков х*1), х<2>, ..., х^~> достигается наилучший прогноз этих признаков среди всех прогнозов, которые можно построить с помощью р' линейных комбинаций набора из р произвольных признаков.

Поясним и уточним сказанное. Пусть мы хотим заменить исходный исследуемый р-мерный вектор наблюдений X на вектор У = (р(1), г/(2>, ..., г/(р,)) меньшей размерности р' , в котором каждая из компо­ нент являлась бы линейной комбинацией р исходных (или какихлибо других, вспомогательных) признаков, теряя при этом не слишком много информации. Информативность нового вектора У зависит от того, в какой степени р' введенных линейных комбинаций дают возмож­ ность «реконструировать» р исходных (измеряемых на объектах) при-

142