Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

тогда A

ных компонент,оказываетсят.е. той матрицей, которая фигурирует в методе глав-

Zi(A ); i = 1; :::; q q первых главных компонент. Покажем описанный процесс на примере из предыдущего пункта. Со-

гласно обычной процедуре метода наименьших квадратов ( см. теорему 6 и формулу (6.9)) в наших условиях ортогональности главных компонент,

j(i) = cov(Xi; Zj(A )):

DZj(A )

Отсюда (см. предыдущий раздел)

1(i) = 0; 396cov(Xi; X1) + 0; 579cov(Xi; X2) + 0; 713cov(Xi; X3);2(i) = 0; 819cov(Xi; X1) 0; 573cov(Xi; X2) + 0; 01cov(Xi; X3)

q

0

Xi = DXiXi + Xi; i = 1; 2; 3:

Результаты приведены в таблице. Заметим, что для восстановления исходных значений нам понадобилось вспомнить, чему равны средние и дисперсии исходных показателей. Отсюда следует, что главные компоненты в том виде, о котором мы говорим, несут информацию не о самих показателях, а только об их изменчивости (самих по себе и относительно друг друга). Впрочем, при внимательном отношении к излагаемому материалу, это можно было заметить и раньше.

В заключение этого подраздела приведем значение величины ошибки

восстановления (A ) = 4; 15 . Если бы мы знали, что восстанавливаемые данные имеют нормальные распределения, все параметры которого точно известны, то с целью оценить качество восстановления мы должны бы были сравнить это число с критической точкой распределения хи-квадрат с 30 степенями свободы.

11.4.2Геометрические свойства

При переходе к главным компонентам с геометрической точки зрения мы

производим проектирование p-мерного пространства в q-мерное. Естественно, что при этой процедуре неизбежны искажения линейных размеров и углов. Оказывается, среди отображений упомянутых пространств, имеющих линейный характер, переход к главным компонентам является наилучшим. Просто перечислим наиболее простые свойства такого ро-

да. Обозначим R(q) подпространство исходного p-мерного пространства,

порожденное первыми q главными компонентами, а R(q) класс всех q- мерных подпространств исходного пространства показателей, порождаемых линейными комбинациями этих показателей.

R(q).

2.Сумма квадратов расстояний между всеми парами проекций выборочных точек в R(q) по отношению к сумме квадратов расстояний

R(q).

3.Среди всех подпространств класса R(q) в пространстве R(q) наименее искажаются расстояния проекций до их геометрического центра а также углы между отрезками прямых, соединяющих каждую из проекций с геометрическим центром множества проекций.

Итак, можно говорить о том, что среди всех линейным образом организованных проекций в пространство более низкой размерности, метод главных компонент наименьшим образом искажает геометрическую структуру облака выборочных точек. Более или менее точное представление о том, в каком смысле здесь говорится о геометрической структуре, можно получить, вернувшись к перечисленным выше свойствам. Но иногда бывает нужно при снижении размерности сохранить "пространственную изолированность"отдельных групп точек или оставить неизменными другие свойства, сохранение которых свойствами 1-3 не гарантируется. Более того, та оптимальность сохраняемых свойств, о которой

мы все время говорим, касается лишь пространства R(q), связанного с линейными преобразованиями признаков.

Тогда имеет смысл обратиться к отображениям p-мерного простран-

ñòâà â q-мерное, не являющимися линейными, и к изучению их свойств. В этой ситуации Дж.Сэммоном предложен следующий критерий оптимальности искажения геометрической структуры, подобный стресс-критерию в задачах многомерного шкалирования, изучаемых в главе 14:

ãäå di;j расстояния между i-é è j-й точками в исходном пространстве,

i;j расстояния между их проекциями, число a выбирается исследователем в зависимости от содержания задачи. Рекомендуется выбирать

a < 0, чаще всего a = 1. Иногда для разных пар точек берут разные a. В любом случае вычислительная техника дает возможность попробовать разные варианты прежде, чем будет принято окончательное решение.

Построение наилучших в смысле критерия Сэммона нелинейных проекций организуется в виде итерационного процесса. В качестве начального приближения выбирают, как правило, проекцию на главные компоненты. За подробностями отсылаем читателя к [2, c.372-375] и [11].

Глава 12

Факторный анализ

12.1Постановка задачи

Факторный анализ занимается определением относительно небольшого числа скрытых (латентных) факторов, изменчивостью которых объясняется изменчивость всех наблюдаемых показателей, связанных с каждым из подвергающихся изучению объектов. В этом смысле оцениваемые ла- тентные факторы f(1); :::f(q) можно считать причинами, а наблюдаемые

признаки X(1); :::; X(p); следствиями. Результаты факторного анализа условимся считать успешными, если большое число признаков удалось достаточно точно объяснить малым количеством причин.

12.1.1Связь с главными компонентами

Итак, факторный анализ направлен на снижение размерности рассматриваемой задачи. Если мы еще в явном виде сформулируем, что латентные (или, как их еще называют, общие ) факторы ищутся в виде линейных комбинаций наблюдаемых признаков, то может создаться впе- чатление, что такую задачу мы уже решали. Например, сходные вопросы рассматривались в главах, посвященных регрессии и методу главных компонент. Но сейчас перед нами другая задача. Так, в задачах регрессии мы имели возможность наблюдать как значения тех факторов, от которых зависел выход, так и сам выход, а неизвестными, оцениваемыми параметрами являлись только коэффициенты этой зависимости (и, конечно же, остаточная дисперсия). Теперь же у нас к числу наблюдае-

135

136

мых относится лишь вектор признаков сами относятся к числу оцениваемых.

Чтобы понять связь той задачи, которую мы намереваемся решать с задачей метода главных компонент, поставим задачу факторного анализа чуть аккуратнее. Пусть ~ (1) (p) t

X = (X ; :::; X ) p-мерный вектор на-

блюдаемых признаков, связанный с каждым из n изучаемых объектов. Требуется при заданном q (которое, как правило, значительно меньше p) найти такую матрицу A, содержащую q столбцов и p строк, называе-

нейных комбинаций X(1); :::; X(p). Оцениванию подлежит также матрица

причем элементы матрицы A неизвестны. Исследователь собирается оце-

íèòü q "причин"f(1); :::; f(q) и коэффициенты Ak;j; k = 1; ::; p; j = 1; :::; q таким образом, чтобы, заменив полные (бесконечные) суммы в правой части последнего равенства их урезанными вариантами

q

X(k)(q) = X Ak;jf(k); k = 1; :::; p

j=1

так, чтобы полученная аппроксимация ~

деленном смысле.

X

Оказывается, если мы в этой задаче в качестве критерия оптималь-

~

ности возьмем минимальность отличия матрицы B = covX от ковари-

ационной матрицы вектора ~

X(q), то мы придем к задаче поиска главных компонент. Точнее, мы получим, что i-й столбец матрицы A равен p i~a(i),

ãäå z(i) i-я главная компонента.

Если же главной задачей объявить наиболее полное объяснение корреляции между координатами вектора ~

X, то мы придем к задаче факторного анализа. Другими словами эту процедуру можно описать следующим образом. Первый из латентных факторов подбирается из того условия, чтобы, после его исключения из всех наблюдаемых признаков, коэффициенты корреляции между всеми парами признаков были бы минимальными. Затем процесс повторяем для признаков с исключенным влиянием уже построенного фактора (факторов).

Отсюда следует, что если остаточные дисперсии были невелики, то метод главных компонент и факторный анализ должны давать близкие результаты. Именно поэтому до недавнего времени метод главных компонент считался частью факторного анализа, да и в некоторых относительно недавно изданных учебниках (см. [13]) под названием "факторный анализ"скрывается именно метод главных компонент.

12.1.2Однозначность решения

Для начала отметим, что принципиальная возможность решения зада- чи факторного анализа как разновидности общей задачи снижения размерности, связана, в основном, с высокой коррелированностью исходных признаков. В качестве латентных факторов и выступают те причины, которые обеспечивают названную коррелированность. Наиболее ясно сказанное иллюстрируется на примере так называемых тестов на определение уровня интеллекта. Ответы на вопросы теста (а точнее, качество этих ответов) в конце концов определяются способностями тестируемого. Сами способности при этом мы наблюдать не можем (да и вряд ли кто-нибудь в состоянии напрямую строго определить, что это такое), а наблюдаем только их следствия. И по ним требуется эти самые способности оценить, что психологи проделывают весьма успешно.

Приведенный пример в некотором смысле объясняет тот факт, что методы факторного анализа впервые были предложены и применены

138

именно в работах психологов. По некоторому размышлению становится понятно, что, руководствуясь сходными соображениями, можно методами факторного анализа придавать численные значения непосредственно не наблюдаемым и даже нечисловым признакам, таким, например, как "настроение", "общее состояние экономики", "климат"и т.д. Автору пособия удалось применить этот метод для выработки "общего показателя здоровья", который при определенной нормировке может интерпретироваться как вероятность перейти в разряд "больных"в ближайшее время.

Остановимся на вопросе возможности однозначного решения задачи факторного анализа. Во-первых, если мы уже нашли какое-то решение

~

задачи A; F , то, записывая

для произвольной обратимой матрицы C, мы обнаруживаем еще бесконечно много решений. Даже условие единичных дисперсий координат вектора ~

F , которое обычно накладывается, может быть обойдено, если

мы возьмем в качестве C ортогональную матрицу. Поскольку умножение на ортогональные матрицы соответствует поворотам, то мы видим, что решение принципиально может быть определено лишь с точностью до поворотов.

Наряду с некоторыми неприятными сторонами этот факт несет в себе и полезную составляющую. Дело в том, что при решении практических задач часто возникают проблемы интерпретации найденных латентных факторов, приданию им некоего "качественного"смысла. С одной стороны, такая интерпретация предполагает первоначальное приведение наблюдаемых признаков ~

X к одному масштабу единиц (иначе трудно понять смысл линейной комбинации, например, рублей и гектаров), а с другой, после того, как решение найдено, мы получаем возможность путем вращений слегка изменить содержание факторов без снижения качества решения и тем самым облегчить специалисту-практику их качественную интерпретацию.

Тем не менее, даже если мы смиримся с невозможностью совершенно точно решить поставленную задачу и будем считать решение однознач- ным, если оно единственно с точностью до поворотов, в нашей постановке остается еще много степеней свободы (число неизвестных значительно больше числа уравнений). Об этом подробнее в следующем разделе.

Какие же цели ставит перед собой исследователь, решающий задачу факторного анализа?

определить алгоритм оценки матрицы факторных нагрузок A è

~

ковариационной матрицы V остаточной компоненты ;

построить оценки латентных факторов F для каждого из наблюдаемых объектов и предложить формулу для оценки значения этих факторов для объекта, вновь поступающего на изучение;

проверить некоторые гипотезы, связанные с принимаемой моделью: адекватность ее по отношению к исследуемому явлению, гипотеза об истинном числе латентных факторов и т.д.;

путем вращений дать возможность интерпретировать полученные оценки латентных факторов на понятном практику языке.

Возможны, конечно же, и другие цели. Большинство этих проблем будет рассмотрено ниже. В заключение этого раздела отметим, что все поставленные задачи могут быть решены только с большей или меньшей степенью приближенности, а некоторые (в частности, задачи интерпретации) вообще принципиально неформализуемы.

12.2Математическая модель

Переходим к формулам. Пусть с каждым из n наблюдаемых объектов

~

B = covX считается известной (по крайней мере, как оценка). Предполагаем, что при заданном q < p и некоторых (неизвестных) матрице A,

140 Глава 12. Факторный анализ

образом объясняла бы изменчивость всего набора исходных показателей. Критерием качества, следовательно, служит функционал

При этом на латентные факторы налагаются условия нормировки, которые, если мы обозначим набор значений факторов в k-м эксперименте

Эти условия можно, если считать латентные факторы случайными величинами, интерпретировать как

Возможность подобрать в этом уравнении такие A; V (последняя, напомним, диагональна) совпадает с принципиальной возможностью решить задачу факторного анализа. Вероятно, это можно сделать не всегда. Но мы, чтобы не загромождать изложение, предположим, что, во-первых, решение этой системы существует, а во-вторых, оно единственно с точ- ностью до поворотов.

Как мы уже говорили выше, в системе (12.1) неизвестных гораздо больше, чем уравнений. Поэтому обычно рассматриваются различные

дополнительные условия на матрицы A; V , при которых система и решается. Ниже мы рассмотрим разные варианты таких условий и дадим некоторые рекомендации по решению системы (12.1) в каждой из ситуаций в отдельности. Сейчас же рассмотрим следующую общую схему итеративных алгоритмов для ее решения.

Øàã 1. Зададимся некоторым начальным приближением V0, положим0 = B V0 (это приближение для матрицы AAt). Ê øàãó 2.