книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

Как упоминалось, в основной модели (4.20) при p' > 1 оказывается слишком много неизвестных параметров для их однозначного определе­ ния. Поэтому вначале исследователь должен выбрать какую-то систему дополнительных априорных соотношений, связывающих неизвестные параметры модели, которые делают решение задачи однозначным и позволяют получить относительно простое частное решение системы (4.21). Затем он может отказаться от этих дополнительных соотноше­ ний, подбирая с помощью подходящего ортогонального преобразования

(вращения осёй) тот вариант оценок нагрузок qtj и остаточных диспер­

сий Ѵц, который ему кажется предпочтительнее в основном с точки зре­ ния возможности содержательной интерпретации получаемых при этом общих факторов и их нагрузок.

а) Различные варианты дополнительных априорных соотношений между q i j и v i i t постулируемых исследователем с целью однозначной идентификации анализируемой модели:

1) решение (Q, К) системы (4.21) ищется лишь в классе таких матриц Q и V, для которых матрица

Q'VQ

имеет диагональный вид, причем диагональные элементы этой мат­ рицы различны и упорядочены в порядке убывания1;

2) из всех решений системы (4.21) выбирается лишь то, для которого матрица

Q'Q

диагональна, причем все диагональные элементы различны и упоря­ дочены (в порядке убывания);

3)решение системы (4.21) ищется лишь среди таких матриц Q, ко

торые для заранее заданной матрицы (размера р X р') В = {Ьц), —і = = 1 , ..., р, j = 1 , ..., p' ранга p' удовлетворяют требованию

В частности, выбор

р'

М \ ’о.."’ . /°

1 В некоторых случаях к этому условию добавляется требование специаль ного вида матрицы остаточных дисперсий, а именно V = а2І.

173

приводит к ограничению на Q типа

что означает: первый исходный признак лЗ1* должен выражаться толь­ ко через один первый общий фактор второй признак х<2>— через два общих фактора у(1) и у(2> и т. д.

Можно, кстати, показать, что при соответствующем выборе вспомо­ гательной матрицы В определение искомых параметров модели приво­ дит к решению ранее сформулированной экстремальной задачи (4.24).

Содержательную интерпретацию условий 3) следует искать в ситуа­ циях, когда исследователь располагает некоторой априорной инфор­ мацией, из которой можно, во-первых, извлечь реальный гипотети­ ческий смысл общих факторов и, во-вторых, постулировать наличие определенного числа нулевых элементов в матрице нагрузок Q (с более или менее точным указанием их «адреса»), что означает априорное отри­

стые структуры», «нулевые элементы в специфических позициях» [161), на которых мы здесь не будем останавливаться.

б) Описание общего итерационного подхода к выявлению структуры модели факторного анализа. Конкретная реализация этого подхода за­ висит от выбора варианта идентифицирующих условий типа 1)—3). Как правило, исследователю известна лишь ковариационная матрица

2(или ее выборочное значение 2, пока мы их различать не будем). Логическая схема итераций следующая:

(і — 1, 2, ..., p') матрицы Q при известной матрице ¥ = QQ', то он опи­ рается на тот факт, что матрица ¥ может быть представлена в виде

¥ = ft ft + ft Ці + ... -Уду qp>-

Используя специфику выбранных идентифицирующих условий опре­

174

Так, например, в случае «обобщенного условия треугольное™» 3) этот прием дает:

Здесь di — і-й столбец матрицы D;

YB == QQ' 5 = QD’ = ^ d[ + ... + qp. d p’.,

B ’Y B ^ B ’QQ’B ^D D ' = dxd[ + ... + dP'd'p>.

Последние два матричных уравнения можно расписать в виде:

Отсюда можно последовательно находить

d l^ b lY b ,- , Y x - , Y - qiqlq2= ^ ,

(4.26)

<7i

В случае условий идентификации типа 1) легко проверить, что столб­ цы qlt ..., qP' являются первыми р' обобщенными собственными вектора­ ми (в метрике V) матрицы Тг, т. е. являются решением уравнения

Аналогичная реализация общей итерационной схемы определения структуры модели имеет место и в случае условий идентификации типа

в) Статистическое оценивание факторных нагрузок Цц и остаточ ных дисперсий Ѵц. Оценивание производится либо методом максималь­ ного правдоподобия (см. § 1 главы 1), либо так называемым центроид-

ным методом. Первый метод используется обычно при идентифицирую­ щих условиях типа 1) и 2), хотя дает эффективные оценки для Цц и Ѵ ц , но требует постулирования закона распределения исследуемых величин (разработан он лишь в нормальном случае), а также весьма об­ ременительных вычислений. Что касается центроидного метода, кото­ рый используется при идентифицирующих условиях типа 3), то, давая

175

оценки, близкие к оценкам максимального правдоподобия, он, как и всякий непараметрический метод, является более «устойчивым по от­ ношению к отклонениям от нормальности исследуемых признаков и требует меньшего объема вычислений. Однако из-за определенного про­ извола в его процедуре, которая вскоре будет приведена, статистичес­ кая оценка метода, исследование его выборочных свойств (в общем слу­ чае) практически невозможны. Можно представить себе проведение по­ добных исследований лишь в каких-то специальных случаях, один из которых намечен, например, в [16].

Общая схема реализации метода максимального правдоподобия следующая. Составляется логарифмическая функция правдоподобия, как функция неизвестных параметров qtj и ѵн, отвечающая иссле­ дуемой модели, т. е. учитывающая нормальность Х г, ... , Хп, модель (4.20) и соответственно (4.21); дополнительные идентифицирующие усло­ вия 1) или 2). С помощью дифференцирования этой функции правдо­ подобия по каждому из неизвестных параметров и приравнивания полученных частных производных к нулю получается система урав­ нений, в которой известными величинами являются выборочные ко­

вариации аі}, а также числа р и р ', а неизвестными — искомые па­ раметры qtj и ѵн . И, наконец, предлагается вычислительная (как правило, итерационная) процедура решения этой системы. За под­ робностями мы отсылаем читателя к [9], [22] и [16]. Заметим, что реализация описанной выше (для случаев 1) и 2)) обшей итерацион­ ной вычислительной схемы с заменой неизвестной ковариационной

матрицы исходных признаков 2 ее выборочным аналогом 2 приве­ дет нас как раз к оценкам максимального правдоподобия параметров qtj и ѵп (1=1,2 , ... , р; / = 1,2, ... , р). Отметим также, что в [16]

при достаточно общих ограничениях доказана асимптотическая нор­ мальность оценок максимального правдоподобия Q и V, что дает ос­ нову для построения соответствующих интервальных оценок.

Как было отмечено, центроидный метод является одним из способов реализации вычислительной схемы (4.26), приспособленной для вы­ явления структуры модели факторного анализа и оценки неизвест­ ных параметров в случае идентифицирующих условий типа 3). Этот метод поддается весьма простой геометрической интерпретации. Отождествим исследуемые признаки xW, ..., x^) с векторами, выходя­ щими из начала координат некоторого вспомогательного р-мерного пространства, построенными таким образом, чтобы косинусы углов между хб) и хб) равнялись бы их парным корреляциям {ги), а длины векторов X«) — стандартным отклонениям соответствующих перемен­

ляций стало положительными. Тогда векторы будут иметь тенденцию к группировке в одном направлении в пучок. После этого первый общий фактор г/<х> определяется как нормированная (т. е. как вектор еди­ ничной длины) сумма всех исходных векторов пучка и, следовательно, он будет проходить каким-то образом через середину (центр)этого пучка; отсюда название «центроид» для общего фактора в этом случае.

176

точных переменных и проделывая относительно х<П) и 2W всю ту же самую процедуру построения пучка и т. п., выделяем второй общий фактор («второй центроид») г/<2>и т. д.

Формализация этих соображений приводит к следующей итераци­ онной схеме вычислений по определению факторных нагрузок qu и остаточных дисперсий ѵц с учетом описанной ранее вычислительной схемы (4.26). Задаемся некоторым начальным приближением У<°> для дисперсий остатков V. Обычно полагают [9, 42].

ѵ(и = <*„ [1 — max \ги \].

К К Р

(/ ф і)

Подсчитываем Чг(°) = 2 — Ѵ(°>. Выбираем в качестве нулевого прибли­ жения первого столбца Ь1 вспомогательной матрицы В столбец, состоящий из одних единиц

1

Ь[0)

1

Далее в соответствии с (4.26) определяем нулевое приближение <?^°> первого столбца матрицы нагрузок

!р(°) Ь(0)

(б<°)' ¥<°> 6<°>)2

где вектор Ь[0) состоит только из + 1 или — 1, а знаки подбираются из условия максимизации знаменателя правой части (4.29) и т. д. Полу­

чив, таким образом, нулевое приближение Q(°> = (<7<°>, ..., q ^ ) для матрицы нагрузок Q, вычисляем ]/<’>= 2 — Q(°)Q(0)' и переходим к сле­ дующей итерации. При этом матрица В не обязана совпадать с Д°>. Кстати, как нетрудно усмотреть из вышесказанного, і-й столбец мат­ рицы В задает веса, с которыми суммируются векторы одного пучка для образования t-ro общего фактора («центроида»). Поскольку смысл центроидной процедуры — в простом суммировании векторов пучка;

она иногда так и называется — «процедура простого суммирования», то исследователю остается определить лишь нужное направление каж­ дого из векторов пучка, т. е. знаки единиц, образующих столбцы

177

Непосредственная ориентация (при подборе знаков у компонент векто­ ра Ьі) на максимизацию выражений

хотя и несколько сложнее реализуема, чем некоторые эвристические приемы, опирающиеся на анализ знаков элементов остаточных матриц Чгі_1 [9, стр. 41—46], но быстрее и надежнее приводит к выделению именно таких центроидов, которые при заданном р' будут обусловли­ вать возможно большую часть общей дисперсии исходных признаков, т. е. минимизировать дисперсию остаточных компонент ut.

Заметим, что если не все исходные ковариации положительны, может быть целесообразным использование и в качестве Ь[0) вектора, состоящего как из -fl так и из —1. Отметим также, что недостатком центроидного метода является зависимость центроидных нагрузок qц от шкалы, в которой измерены исходные признаки. Поэтому исходные признаки обычно нормируют с помощью среднеквадратических от­

клонений с )/2, так что выборочная ковариационная матрица Е заменя­

ется во всех рассуждениях выборочной корреляционной матрицей R- Анализируя описанную выше процедуру центроидного метода, не­ трудно понять, что построенные таким способом общие факторы могут интерпретироваться как первые р' «условных» главных компонент

матрицы 2 — V, найденные при дополнительном условии,что компо­ ненты соответствующих собственных векторов могут принимать лишь два значения: плюс или минус единица.

г) Оценка значений общих факторов. Эта задача является одной и основных задач исследования. Действительно, мало установить лишь сам факт существования небольшого числа скрыто действующих об­ щих факторов г/<1>, ..., у (р)', объясняющих природу взаимной коррели­ рованное™ исходных признаков в основную часть их дисперсии. Же­ лательно непосредственно «выловить» эти общие факторы, описать их в терминах исходных признаков и постараться дать им удобную со­ держательную интерпретацию.

Мы приведем здесь идеи и результаты двух распространенных мето­ дов решения этой задачи, предложенных в разное время Бартлеттом (1938 г.) и Томсоном (1951 г.). В обоих случаях мы предполагаем за­

дачу статистического оценивания неизвестных нагрузок Q' = (qi}) и

остаточных дисперсий V — (ѵц) уже решенной.

Первый метод (метод Бартлетта) рассматривает отдельно для каж­ дого фиксированного номера наблюдения ѵ (ѵ = 1, 2, ..., п) модель

(4.20) как регрессию признака хѵ по аргументам <7.1, <7.2, •••, q.P'\ три этом верхний индекс і = 1,2, ..., р у признака (и соответствующий первый нижний индекс у нагрузок) играет в данном случае роль номе­ ра наблюдений в этой регрессионной схеме, так что

р'

*ѵг>= 2 уіп qu + Ui (i = !> •••> p)- /= 1

178

Таким образом величины у[1), у ^ \ ...,у (р ) интерпретируются как

неизвестные коэффициенты регрессии хѵпо q.lt q.2, •••, q.p'• В соответ­ ствии с известной техникой метода наименьших квадратов (с учетом «неравноточности» измерений, т. е. того факта, что вообще говоря Dx(,4) ф Dx <г'*> при ігФ і2), определяющей неизвестные коэффициенты

регрессии Yv = (уУ1, .... уіР')У из условия

получаем [2]

Очевидно, если исследуемый вектор наблюдений X нормален, то эти оценки являются одновременно и оценками максимального прав­ доподобия. Нестрогость данного метода — в замене истинных (неизвест­ ных нам) величин qa и vti и х приближенными (оценочными) значе­

ниями qij и Ѵц.

Второй метод (метод Томсона) рассматривает модель (4.20) как

/ = 1

или в матричной записи

Y = СХ,

где С — матрица коэффициентов Сц размера p' X р, находятся в со­ ответствии с методом наименьших квадратов из условия

Поскольку решение экстремальной задачи (4.31) выписывается, как известно [2], в терминах ковариаций х(і) и y ü \ то отсутствие на­ блюдений по зависимым переменным г/<г) можно компенсировать зна­ нием этих ковариаций, так как легко подсчитать, что

179

Отсюда, используя известные формулы метода наименьших квад­ ратов, получаем (с заменой матрицы Q, V и Г их выборочными анало­ гами)

где матрица Г (размера р X р) определяется соотношением

r t = Q’ V ~ l Q,

Сравнение выражений (4.30) и (4.32) позволяет получить явное ■соотношение между решением по методу Бартлетта У(Б) и решением, предложенным Томсоном У<Т).

У(Б) ='(/ + г - 1)У(Т).

Если элементы матрицы Q'E_1Q достаточно велики, то эти два метода будут давать близкие решения.

д) Статистическая проверка гипотез. Проверка гипотез, связанных с природой и параметрами используемой модели факторного анализа, составляет один из необходимых моментов исследования. К сожале­ нию, теория статистических критериев применительно к моделям фак­ торного анализа разработана весьма слабо. Пока удалось построить лишь так называемые критерии адекватности модели, т. е. критерии, предназначенные для проверки гипотез типа гипотезы Н0, заклю­ чающейся в том, что исследуемый вектор наблюдений X допускает представление с помощью модели факторного анализа (4.20) с данным (заранее выбранным) числом общих факторов р '. При этом критиче­ ская статистика у (Хь ..., X J, т. е. функция от результатов наблю­ дения, по значению которой принимается решение об отклонении или непротиворечивости высказанной гипотезы Я0, зависит от вида допол­ нительных (идентифицирующих) условий модели. Так, если рассмат­ ривается модель с дополнительными идентифицирующими условиями вида 1), т. е. дополнительно постулируется диагональность матрицы

Г = Q 'y_1Q, то гипотеза Н0 отвергается (с вероятностью ошибиться, приблизительно равной а) в случае

180

к (4.20), или, что то же, к (4.21), постулируется наличие какого-то за­ ранее заданного числа т нулевых нагрузок qtJ из общего числа р ■р' на определенных («специфических») позициях, то гипотеза # 0 отвер­ гается (с вероятностью ошибиться, приблизительно равной а) в случае

',2 = у Р ( Р ~ 1 ) - ( Р ' Р ' ~ т ) -

Иногда удобнее вычислять критическую статистику у2 (Х1; ..., Хп) в терминах характеристических корней zlt z2, ..., zp (занумерован­ ных в порядке убывания их величин) выборочной корреляционной матрицы R исследуемого вектора наблюдений X:

Пользуясь этой схемой можно построить аналогичные критерии адекватности и для некоторых специальных вариантов центроидного метода [9, с. 50]. Однако из-за слишком узких рамок такой модели эти критерии, с нашей точки зрения, не представляют достаточного инте­ реса.

До сих пор не удалось построить многомерной решающей процеду­

ры типа р' (2),т. е. оценки для неизвестного числа общих факторов р'. В настоящее время приходится ограничиваться последовательной эк­ сплуатацией критериев адекватности Н0 : р' = р'а (р'0 — заранее

ве Н [: р’> р 0-\-\ и т. д. Однако по уровням значимости а каждой от­ дельной стадии такой процедуры трудно сколько-нибудь точно судить о свойствах чвсей последовательной процедуры в целом.

181

Пользуясь асимптотической нормальностью оценок Q и V, можно было бы попытаться строить критерии для проверки гипотез, каса­ ющихся значений-факторных нагрузок, например, гипотез о том, что некоторые признаки не зависят от заранее определенных факторов,

т. е. что на определенных местах матрицы Q стоят элементы, статиче­ ски незначимо отличающиеся от нуля. Однако построение этих кри­ териев затруднено из-за вычислительно-нереализуемого вида кова­

риационных матриц оценок Q и V [16]. Правда, это затруднение можно обойти, используя в качестве приближенного решения критерий не­ значимого отклонения от нуля множественного коэффициента корре­

предыдущего параграфа и относящиеся к общим идеям использования главных компонент в задачах классификации и к так называемому дуализму в постановке задачи, в полной мере относятся и к модели фак­ торного анализа.

Будет полезно пояснить это на конкретном примере с использова­ нием специфики и терминологии именно факторного анализа.

В табл. 4.3 приведены коэффициенты корреляции между отметками по шести школьным предметам, подсчитанные по выборке из 220 уча­ щихся [9].

В последних двух столбцах таблицы даны факторные нагрузки qtl, <7і2 на исследуемые признаки в бифакторной модели (p' = 2), подсчи­ танные по приведенной здесь корреляционной матрице с помощью центроидного метода. Простой анализ величин и знаков этих нагру-

182