J B W 1B
ле факторного анализа) либо матрицы Rm R BmBm используется критерий Бартлетта − Уилкса
сn (n - 1) / 2 степенями свободы, либо его аппроксимация
χ2 N rij2 ,
ij
где rij – элементы матрицы Rm .
Если все эти критерии дают не противоречащие друг другу решения, то удовлетворяются этими m факторами.
Метод максимального правдоподобия. В этом методе по вы-
ˆ
борочной корреляционной матрице R исходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матриц В и W для генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица
(11.9)
имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии.
Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:
Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения B и W.
В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для m общих факторов. Для проверки гипотезы о существовании m общих факторов можно воспользоваться критерием
|
2 |
|
|
2n 5 |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
χ |
|
N 1 |
|
|
|
|
m ln |
|
Rm |
|
/ |
|
R |
|
|
|
|
|
|
|
|
|
6 |
|
3 |
|
|
|
|
|
|
|
|
|
c[(n m)2 (n m)]/ 2 степенями свободы.
Вэтой формуле Rm – определитель матрицы корреляций, воспроизведенных с помощью m общих факторов. Если вычисленное значение критерия превышает табличное значение χ 2 при выбран-
ном уровне значимости, то необходимо выделить факторов больше, чем m, по крайней мере, m+1.
Оценка общностей. Проблемы оценки общностей и оценки факторов тесно переплетаются. Если значения общностей установлены, то матрица Rh становится полностью известной и для нее
может быть установлен ранг, т.е. минимально необходимое число общих факторов. Если вначале установлено число m общих факторов, то значения общностей подбирают таким образом, чтобы ранг матрицы Rh приближался к этому числу. Существует несколько
способов оценивания общности. Мы их рассмотрим вкратце, поскольку при большом числе переменных точность оценивания общностей практически не сказывается на результатах факторного анализа.
Наиболее теоретически обоснован и чаще всего рекомендуется в качестве оценки общности i-го признака коэффициент множест-
венной корреляции Ri2 i-го исходного признака с остальными (n–1)
признаками. |
|
|
|
|
Значение R2 |
вычисляется по формуле: |
|
i |
|
|
|
|
|
Ri2 1 |
1 |
, |
(11.11) |
|
ii |
|
|
r |
|
где rii – диагональный элемент обратной корреляционной матрицы
R 1 .
При проведении факторного анализа на ЭВМ во многих случаях используют итерационную процедуру вычисления общностей. На каждой итерации с помощью метода главных факторов определяют матрицу факторных нагрузок, а по ней находят оценки общностей, которые используются в следующей итерации. В качестве начaль-
ного приближения используют коэффициент множественной корреляции (11.11).
Вращение факторов. Исследование с помощью факторного анализа следует признать успешным, если выявлено не только число общих факторов, но и дано содержательное толкование тем внутренним, скрытым причинам (общим факторам), которые обусловили результаты наблюдений. С целью облегчения процесса интерпретации общих факторов осуществляется третий этап факторного анализа – вращение факторов. Выше указывалось, что матричное уравнение Rh BB имеет бесконечное число решений (с
точностью до ортогонального преобразования Т). Рассмотренные методы выделения факторов однозначно устанавливают положение системы координат, однако за счет введения дополнительных ограничений. Оси, соответствующие общим факторам, ориентируются последовательно по максимуму оставшейся дисперсии. Такая ориентация координат оказывается существенной в методе главных компонент, ориентированном на дисперсии. Основная цель факторного анализа – объяснение корреляций между исходными признаками. Окончательную ориентацию осей координат здесь производят из других соображений, а именно: с точки зрения содержательной интерпретации общих факторов. Для этого систему координат в пространстве общих факторов поворачивают как целое вокруг ее начальной точки, что эквивалентно умножению факторного отображения В на ортогональную матрицу Т справа.
Процедуру вращения рассмотрим на примере. По результатам успеваемости построена корреляционная матрица оценок по шести предметам: математике, физике, истории, литературе, родному языку, иностранному языку. Одним из методов выделены два общих фактора. Корреляционная матрица и матрица факторных нагрузок приведены в табл.11.1.
Таблица 11.1
№ при- |
|
Корреляционная матрица |
|
Общий |
Общий |
знака |
|
|
фактор1 |
фактор2 |
|
|
|
|
|
|
1 |
1 |
0,50 |
0,32 |
0,20 |
0,22 |
0,12 |
0,6 |
0,6 |
2 |
0,50 |
1 |
0,21 |
0,15 |
0,16 |
0,07 |
0,4 |
0,4 |
3 |
032 |
0,21 |
1 |
0,44 |
0,67 |
0,41 |
0,7 |
0,2 |
4 |
0,20 |
0,15 |
0,44 |
1 |
0,56 |
0 |
0,6 |
-0,2 |
5 |
0,22 |
0,16 |
0,67 |
0,56 |
1 |
0,51 |
0,8 |
-0,4 |
6 |
0,12 |
0,07 |
0,41 |
0,33 |
0,51 |
1 |
0,5 |
-0,3 |
Интерпретация полученных общих факторов представляет определенные трудности: необходимо выявить то общее, что обусловило высокие нагрузки на все шесть предметов у первого фактора, и на первый, второй и пятый – у второго, причем последняя значимая нагрузка − отрицательна.
На рис. 11.2 приводится графическая иллюстрация полученного факторного отображения (номера точек 1-6 соответствуют строкам матрицы факторного отображения).
y2
|
|
|
y2 ' |
|
|
1,0 |
|
|
|
|
1,0 |
|
|
|
|
|
1 |
|
|
|
2 |
|
|
|
|
0 |
|
1,0 |
y1 |
|
θ |
4 |
3 |
|
|
|
|
|
|
|
6 |
|
5 |
|
1,0
y1 '
-1,0
Рис.11.1. Поворот системы координат
Повернем оси координат по часовой стрелке так, чтобы сгусток, состоящий из точек 3-6, оказался как можно ближе к оси y1 . Угол
поворота |
составляет 30 . Матрица преобразования T координат |
при повороте на угол θ по часовой стрелке имеет вид: |
|
cosθ |
sin θ |
|
T |
. |
|
sin θ |
cosθ |
Новые координаты точек Вн получаются перемножением матриц
В и T , т.е. |
|
|
|
|
|
|
|
|
|
|
|
|
|
BH BT . |
|
|
|
(11.12) |
Для рассматриваемого примера получим: |
|
|
|
0,6 |
0,6 |
|
|
|
0,22 |
0,82 |
|
|
|
|
|
|
|
|
|
|
|
0,4 |
0,4 |
|
0,87 |
0,50 |
0,15 |
0,55 |
|
0,7 |
0,2 |
0,71 |
0,18 |
|
BH 0,6 |
0,2 |
0,50 |
0,87 |
0,64 |
0,12 |
. |
|
|
|
|
|
|
|
|
|
|
0,8 |
0,4 |
|
|
0,90 |
0,05 |
|
|
|
|
|
|
|
|
|
|
|
0,5 |
|
0,3 |
|
|
0,58 |
|
0,01 |
Интерпретация факторов, отвечающих матрице BH , несомненно
проще: первый фактор существенно нагружает теперь только четыре исходных признака (история, литература, родной и иностранный языки), а второй первые два признака (математика, физика), причем значимых отрицательных нагрузок нет. Естественно первый фактор назвать, например, гуманитарной одаренностью, а второй – склонностью к точным наукам.
Рассмотренный пример явился иллюстрацией геометрического подхода к проблеме вращения. Он предполагает визуализацию факторного отображения с последуюшим поворотом системы координат так, чтобы новые оси проходили через скопления точек. Если число общих факторов больше двух, то вращение осуществляется по шагам, учитывая каждый раз одновременно только две оси. Полная матрица преобразования состоит из произведения отдельных матриц преобразования для всех комбинаций пар факторов.
Только что рассмотренный пример на вращение показывает, что интерпретация общих факторов тем проще, чем «контрастнее» бу-
дут значения нагрузок – элементы столбца матрицы факторного отображения: либо близки к нулю, либо к единице. В этом случае каждый исходный признак получает наиболее простое описание на языке общих факторов (11.10) и, наоборот, при интерпретации каждого общего фактора учитывается минимальное число исходных признаков. Именно эти соображения легли в основу концепции простой структуры, широко используемой в факторном анализе. Термин «простая структура» служит для характеристики взаимосвязи между конфигурацией векторов, соответствующих исходным признакам, и осями координат пространства общих факторов. Если конфигурация векторов такова, что позволяет вращением координат достигнуть положения, при котором значительное большинство векторов-признаков окажутся на гиперплоскостях координат или вблизи них, то в этом случае говорят о простой структуре.
При многомерном факторном анализе в каждом столбце матрицы факторных нагрузок B найдутся несколько элементов, близких к нулю. Отсюда возникает вопрос: какое количество нулевых нагрузок достаточно, чтобы считать найденную гиперплоскость значимой? Решить этот вопрос можно с помощью критерия Баргмана. Для очередного i-го общего фактора подсчитывают число qp
признаков, для которых выполняется условие bil / hi 0,1. Это чис-
ло, называемое числом нулевых нагрузок, сравнивают с табличным qТ, соответствующим определенному числу исходных признаков. Если qp qT при выбранном уровне значимости, то этот фактор
считается определенным и его можно интерпретировать. Критерий Баргмана проверяет по сути дела гипотезу, что векторы, отвечающие исходным признакам, лежат друг к другу плотнее, чем можно было бы ожидать при случайном их расположении в пространстве общих факторов.
Кроме геометрического подхода к вращению факторов применяется аналитический подход. Применение этого подхода потребовало выработки критерия, с помощью которого можно было бы сравнивать результаты вращения.
256
Такой критерий опирается на концепцию простой структуры. В качестве меры простоты фактора выбирается дисперсия квадратов его нагрузок. Если эта дисперсия максимальна, то отдельные нагрузки близки к нулю или единице. Взяв сумму дисперсии по всем факторам и приводя векторы-признаки к единичной длине, получаем так называемый варимакс-критерий:
Процедура вращения осуществляется последовательно, учитывая каждый раз только две оси. Производится поворот на некоторый небольшой угол. Факторные нагрузки пересчитываются по формуле (11.12). Если при этом значение варимaкс-критерия возрастает, то эти оси вновь поворачиваются на тот же самый угол. Если же значение варимакс-критерия уменьшится, то переходят к другой паре координатных осей, и процедура повторяется.
Вопросы и упражнения
1.Сформулируйте фундаментальную теорему факторного анализа применительно к корреляционной матрице исходных признаков.
2.В чем отличие моделей компонентного и факторного анали-
зов?
3.На каких этапах факторного анализа используются предпосылки факторного анализа?
4.Необходима ли процедура вращения, если факторное отображеиие ищется по методу максимального правдоподобия?
5.Что понимается под простой структурой?
6.Каков минимальный порядок корреляционной матрицы, для которой можно выделить хотя бы один общий фактор?
7.Какая гипотеза проверяется по критерию Баргмана?
8.Собственные значения корреляционной матрицы восьми пе-
ременных равны 3,2; 1,8; 1,2; 0,6; 0,5; 0,4; 0,2; 0,1. Какое количе-
ство общих факторов следует оставить?
257
9. Матрица факторных нагрузок имеет следующий вид:
0,3 |
0,5 |
0,6 |
|
|
|
|
|
0,5 |
0,3 |
0,6 |
|
|
0,4 |
0,4 |
0,7 |
|
|
|
|
|
|
B 0,3 |
0,6 |
0,7 . |
|
0,6 |
0,5 |
0,4 |
|
|
|
|
|
|
|
0,7 |
0,4 |
0,3 |
|
|
0,2 |
0,8 |
|
|
|
0,3 |
10.Найдите значение коэффициента корреляции между второй
ипятой исходными переменными. Какая характерная переменная имеет наименьшую дисперсию?
11.Опираясь на модель факторного анализа, найдите ковариацию между переменной xi и общим фактором yj.
12.Найдите ошибки в следующей матрице факторных нагрузок:
0,4 |
0,5 |
0,6 |
|
|
|
|
|
0,5 |
0,3 |
0,7 |
|
|
0,8 |
0,4 |
0,6 |
|
|
|
|
|
|
B 0,5 |
0,6 |
0,7 . |
|
0,6 |
0,5 |
0,4 |
|
|
|
|
|
|
|
0,7 |
0,4 |
0,7 |
|
|
0,2 |
0,8 |
|
|
|
0,3 |
Указание. Вычислить общности.
12. МНОГОМЕРНОЕ ШКАЛИРОВАНИЕ
Кроме таблиц «объект-признак» источником данных могут служить таблицы «объект-объект», содержащие данные о связях объектов. Математический образ подобных таблиц – квадратная матрица, элемент которой на пересечении i-й строки и j-го столбца содержит сведения о попарном сходстве либо различии анализируемых объектов. Задача состоит в том, чтобы представить эти объекты в виде точек некоторого координатного пространства невысокой размерности. При этом связи объектов должны быть переданы расстояниями между точками. Такая простая геометрическая модель приводит к содержательно интерпретируемому решению: каждая ось порождаемого пространства является одномерной шкалой и соответствует некому латентному признаку. Тем самым объекты наделяются признаками, интерпретация которых связывается с расположением объектов в искомом пространстве.
12.1 Формальная постановка задачи шкалирования
Дана симметричная матрица различий между объектами
Требуется построить пространство возможно меньшей размерности r и найти в нем координаты точек-объектов
так, чтобы матрица расстояний
между ними, вычисленная по введенной на Х метрике, была, в смысле некоторого критерия, близка к исходной матрице G попарных различий.
При решении поставленной задачи возможны два подхода [25], [7]: метрический, при котором матрица различий G изначально является искомой матрицей расстояний D, и неметрический (монотонный, ранговый), ориентированный на сохранение того же порядка попарных расстояний, что и в исходной матрице различий:
gij gkl → dij dkl .
12.2. Метрическое шкалирование
В метрическом шкалировании укажем два метода: ординация Орлочи и метод главных проекций Торгерсона.
Ординация Орлочи представляет собой сравнительно простой геометрический метод. По матрице G вначале выбирают две наиболее различающиеся (удаленные) точки
g12 max gij (i,j = 1,2,…,N).
Прямая, проходящая через эти две точки, принимается за первую ось. Обозначим ее A1A2 (рис.12.1).
|
Aj |
|
d1 j |
d2 j |
|
|
hj |
|
A1 |
|
A2 |
|
d12 |
x |
x j1 |
|
1 |
|
|
Рис.12.1. |
Ординация Орлочи |
|
260
