книги / Статистика и анализ геологических данных

Хотя рассматриваемый метод факторного анализа и исполь­ зует главные компоненты, все же вычисление собственных зна­ чений и собственных векторов в этом случае различается с двух точек зрения. Во-первых, собственные значения вычисляются для стандартизированной ковариационной, или корреляционной, матрицы. (Факторный анализ, основан-ный на использовании корреляционной матрицы, носит название «R-метода». Символ R принят для обозначения множественной корреляции.) Это пред­ полагает не только то, что все переменные имеют одинаковые веса, но также позволяет нам считать векторы главных компо­ нент факторами. Во-вторых, собственные векторы должны быть вычислены в так называемой нормализованной форме, т. е. опре­ делять вектор единичной длины. Иногда -подпрограмма вычис­ ления собственных значений, приведенная в гл. 4, выдает норма­ лизованные собственные векторы, и весьма поучительно исследо­ вать, как это делается. Однако, прежде чем перейти к этой теме, остановимся вкратце на влиянии стандартизации данных на главные компоненты ковариационной матрицы.

С целью иллюстрации влияния стандартизации на фиг. 7.28 изображены исходные данные, а на фиг. 7.29 — стандартизиро­ ванные. Исходные данные имеют ковариационную матрицу

Г 6,08 11,08" [ 11,08 27,54

и следующие собственные векторы и собственные значения:

ГО,391

собственный вектор 1 = Q 92 собственное значение=32,23, или 96%

Г0,921

Ковариационная (или корреляционная) матрица стандартизиро­ ванных данных имеет вид

"1,00 0, 86'

0,86 1,00. .

Ее собственные векторы и собственные значения:

Стандартизация позволяет привести данные к виду, при ко­ тором обе переменные имеют одинаковые области значений. В ре­ зультате стандартизации область значений переменной I удли­ няется по отношению к переменной II и происходит вращение главной оси на 45°. (В двумерных задачах вращение на 45° встречается всегда. Вообще же стандартизация m-мерных дан­ ных тоже приводит к вращению главных осей, но в отличие от двумерного случая угол, на который приходится поворачивать данную ось, не фиксируется.) Очевидно небольшое уменьшение дисперсии для первого собственного вектора. В больших матри­ цах собственные значения обычно распределены равномернее для стандартизированных данных, чем для необработанных. Если собственные значения необработанных данных сильно раз­ личаются, то влияние стандартизации еще заметнее.

Посмотрим теперь, как выполняется нормализация собствен­ ных векторов и почему она необходима для факторного анализа. Как указывалось в гл. 4, компоненты собственных векторов яв­ ляются решениями системы уравнений. Имеется бесконечное множество решений этой системы, так как компоненты вектора можно умножать на произвольную константу р и они все будут

и любое другое значение р. Чтобы нормализовать вектор, надо выбрать значение р таким образом, чтобы длина вектора была равна единице.

Предположим, что подпрограмма собственных значений вы­ дает ненормализованные собственные векторы, элементы кото­ рых мы назовем bjk, где j — номер переменной, а к — номер соб­ ственного вектора. Для нормализации вектора его компоненты возводят в квадрат, находят сумму квадратов, извлекают квад­ ратный корень из суммы и делят каждую компоненту вектора на полученное число. Если компоненты нормализованного вектора обозначить через Bjk, то эти операции можно записать следую­ щим образом:

Стандартизация соответствует умножению каждого элемента вектора на константу, равную

(7.39)

неизбежным следствием работы с матрицей порядка 2X2. Это соотношение, вообще говоря, не имеет места для матриц более высоких порядков.)

Расположив факторные нагрузки в форме матрицы, мы по­ лучим матрицу факторных значений, которая для данных фиг. 7.29 имеет вид

Если мы возведем в квадрат элементы матрицы факторных значений и произведем суммирование по каждой переменной, то суммы вкладов переменных в факторы будут одинаковыми, т. е.

Факторы Общности

I II

Эти суммы называются общностями, и их принято обозначать где j — номер переменной. Если мы извлечем m факторов

из ковариационной матрицы порядка m X m , то их общности бу­ дут равны исходным дисперсиям. Так как мы используем стан­ дартизированные переменные, то эти общности равны 1,00. Од­ нако если извлечь менее гп факторов, то общности будут меньше исходных дисперсий, и мы получим показатель эффективности приведенного множества факторов. Например, если сохранить только один фактор из матрицы порядка 2X2, то общности рав-

нялись бы hi = 0 ,964s = 0 ,9 3 ,

h i=0,9642= 0 ,9 3 .

Таким образом, сохранение только одного фактора позволяет учесть 93% дисперсии первой переменной и 93% дисперсии вто­ рой переменной.

Так как значения общностей зависят от числа сохраняемых факторов, то вопрос о последних ставит нас перед лицом одной из важнейших задач факторного анализа — какое число факто­ ров должно быть сохранено? К сожалению, на этот вопрос нет простого ответа, и его отсутствие является одним из самых серь­ езных возражений против факторного анализа. Психологи-экс­ периментаторы на ранней стадии развития факторного анализа решали эту задачу прямолинейно: они извлекали столько факто­ ров, сколько требовала проверяемая ими теория. Другой, столь же приближенный способ состоит в том, что извлекается только

два или три фактора, так как это максимальное число факто­ ров, которые можно изобразить графически на диаграмме рас­ сеяния, и любое увеличение числа факторов ведет к увеличению размерности пространства, в котором решается поставленная задача, в результате чего ее трудности заметно возрастают.

Некоторые исследователи советуют сохранять столько фак­ торов, сколько имеется собственных чисел, больших единицы. Иными словами, сохраняются все факторы, которые дают боль­ ший вклад в дисперсию, чем исходные стандартизированные пе­ ременные. В большинстве примеров лишь немногие факторы со­ держат большую часть вклада в дисперсию множества данных, и эта рекомендация оказывается полезной. Однако, если исход­ ные переменные оказываются слабо коррелированными или не­ коррелированными, половина или более факторов может иметь собственные значения, большие единицы. В результате получа­ ется не только очень большое число факторов, но и вероятность того, что ни один из них не допускает никакой интерпретации. Если данные таковы, что факторный анализ к ним применим (т. е. наблюдаемые дисперсии возникли благодаря корреляции между переменными и рассматриваемыми факторами), то лишь некоторые факторы дают большой процентный вклад в суммар­ ную дисперсию и общности имеют высокие значения. Если для того, чтобы учесть большую часть исходной дисперсии, требу­ ется сохранение большого числа факторов или если значения общностей нескольких первых факторов низкие, то факторная модель чаще всего оказывается неподходящей.

Прежде чем переходить к рассмотрению следующей проце­ дуры факторного анализа, а именно вращению факторных осей для получения «простой структуры», применим изложенные выше методы к уже рассмотренному примеру. Мы используем данные табл. 7.19 и сохраним два фактора, так как наша ин­ туиция подсказывает нам, что в этом случае требуется только два фактора, а именно факторы размера и формы. Матрица стандартизированных дисперсий и ковариаций приведена в табл. 7.24. В табл. 7.25 дана матрица собственных векторов или главных компонент и приведены также соответствующие им собственные значения. Мы сохраним только первые два из них и преобразуем их в факторы. С этой целью умножим нормали­ зованные собственные векторы на квадратный корень из соот­ ветствующих собственных значений, в результате чего получим

Т а б л и ц а 7.24

Стандартизированные дисперсии и ковариации (коэффициенты корреляции) для семи переменных, измеренных на 25 параллелепипедах, указанных в табл. 7.17 (выписана лишь нижняя половина симметричной матрицы)

Т а б л и ц а 7.25

Собственные значения и матрица собственных векторов для данных табл. 7.24 (сохранены лишь два собственных вектора с собственными значениями, превосходящими 1 ,000)

Вектор общностей по всем переменным имеет вид

h?=- [0,798 0,771 0,860 0,979 0,983 0,976 0,833]. Остаточная дисперсия j -й переменной (1,00—h p является

единственной компонентой, ассоциированной с этой переменной. Составляющие этой компоненты таковы:

[0,202 0,229 0,140 0,021 0,017 0,024 0,167].

Если для множества m переменных приходится сохранять ш факторов, то исходную ковариационную матрицу [s2] можно вос­ становить с помощью перемножения всевозможных пар фак­ торных нагрузок и суммирования по факторам. Конечно, если сохраняется р < ш факторов, то исходную ковариационную мат­ рицу точно воспроизвести нельзя. Получаемая таким образом оценка ковариации переменных j и к имеет вид

где /ji — нагрузка j -й переменной на первый фактор. Если [L] — матрица факторных нагрузок, то эквивалентная матричная за­ пись этой формулы имеет вид

если считать, что векторы факторных нагрузок являются столб­ цами матрицы. Стандартизированная матрица остаточных кова­ риаций (или остаточная корреляционная матрица) находится как разность двух матриц:

Вопроизведенная и остаточная корреляционные матрицы для нашего примера даны в табл. 7.26. Остаточная матрица является мерой неспособности этих факторов учесть изменчивость исход­ ного множества данных.

Вращение факторов. Несмотря на То что факторный анализ позволяет уменьшить число измерений в задаче до приемлемых размеров, дать содержательную интерпретацию факторов бы­ вает не очень легко. Возможно, это является результатом того, что положение р ортогональных факторных осей в т-мерном пространстве определяется положением ш—р ненужных орто­ гональных осей в выборочном пространстве. Однако для описа­ ния наших данных достаточно только р факторных осей. Если мы можем исключить из рассмотрения излишние ортогональные оси, то оставшиеся факторные оси можно подвергнуть дополни­ тельному вращению, которое может помочь в нахождении наи­ лучшего их расположения. Для этой цели можно использовать разнообразные схемы вращения. Мы будем использовать так называемый варимакс Кайзера, основой которого является изме­ нение положения факторных осей до тех пор, пока проекции каждой переменной на факторные оси не окажутся близкими либо к нулю, либо к их максимальным значениям. Иными сло­ вами, в результате применения этого метода факторные нагрузки оказываются либо близкими к нулю, либо к ±1 . Обычно для каждого фактора мы получаем немного довольно высоких зна­ чений факторных нагрузок и много незначимых нагрузок. В этом

Фиг. 7.32. Графическое изображение нагрузок на два фактора, полученных по данным измерения 25 параллелепипедов.

Исходные данные для семи переменных указаны в табл. 7.19.

сматривается только общая часть дисперсии по каждой пере­ менной и отбрасывается ее часть, соответствующая ш—р компо­ нентам. Максимизация дисперсии приводит к увеличению интер­ вала изменения факторных нагрузок, которые для того, чтобы

Никакой простой аналитической схемы для метода варимакс не существует. Обычно вращение факторных осей производится итеративным методом. Вращению подвергаются две оси, в то время как другие оси остаются неподвижными. После того как все оси будут подвергнуты вращению, процесс повторяется снова до тех пор, пока уменьшение дисперсии нагрузок на каждом шаге не станет ниже некоторого заранее заданного уровня.

Этот метод вращения лучше всего проиллюстрировать на примере. Мы сделаем попытку «почистить» факторы, получен­ ные для наших искусственно взятых данных, по параллелепипе­ дам, применяя метод вращения к двум оставленным факторам. На фиг. 7.32 представлены векторы, определенные нагрузками ис­ ходных переменных на факторные оси до вращения. На фиг. 7.33 указано положение переменных по отношению к факторным осям после выполнения вращения по методу Кайзера. Положе­ ние переменных по отношению друг к другу не изменилось, а из­ менилось только их положение по отношению к факторным осям. Заметим также, что длина векторов является функцией вкладов