Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

.pdf
Скачиваний:
112
Добавлен:
05.03.2016
Размер:
958.12 Кб
Скачать

12.2. Математическая модель

141

Øàã 2. С помощью специальной процедуры, по разному организованной для разных видов дополнительных условий (см. далее соответ-

ствующие подразделы) по 0 определим приближение A0 матрицы A, положим i = 0. Ê øàãó 3.

Øàã 3. Вычислим

i+1

t

и по той же процедуре через нее

определим

 

= AiAi

 

Положим. К шагу 4.

 

 

.

Ai+1

 

= B i+1 . Сравним Ai+1 ñ Ai; Vi+1 ñ Vi .

Øàã 4

Vi+1

i = i + 1 . Если у хотя бы одной из этих пар наблюдаются значительные отличия, то к шагу 3, иначе конец алгоритма.

12.2.1 Условия на AtA

Здесь мы рассмотрим два варианта возможных дополнительных условий, в которых решение общей задачи факторного анализа становится однозначным с точностью до поворотов. В первом из них решения системы (12.1) ищут только среди таких матриц, что AtV A диагональна, причем элементы на ее главной диагонали различны и расположены в порядке убывания, во втором те же предположения диагональности делаются относительно AtA, т.е. ковариационная матрица случайной составляющей в условии не участвует.

Как правило, при таких условиях дополнительно предполагают нормальность распределения ~

X. Затем рассматривают функцию правдоподобия, где в качестве параметров фигурируют факторные нагрузки и остаточные дисперсии. После этого методами математического анализа (метод неопределенных множителей Лагранжа) ищут максимум функции правдоподобия, как правило, при помощи итеративного алгоритма, почти дословно повторяющего приведенный выше.

Учитывая наложенные условия, нетрудно показать (в предыдущих главах мы по крайней мере дважды решали подробно очень похожие задачи), что специальная процедура, упомянутая там, сводится к решению систем

~ai = iV ~ai; i = 1; :::; q

относительно столбцов ~ai матрицы A, ãäå i i-й по величине корень уравнения

j V j = 0

(j:j определитель), т.е. решению проблемы на обобщенные собственные числа и обобщенные собственные векторы в случае первого варианта до-

142 Глава 12. Факторный анализ

полнительных условий. Если же условия были наложены во втором ва-

рианте, то мы получаем просто проблему собственных чисел и векторов

столбцы матрицы A будут собственными векторами матрицы , име-

ющими единичную длину.

 

 

Находя собственные векторы (или, соответственно обобщенные соб-

ственные векторы) очередного приближения

i и располагая их по столб-

цам, мы получим очередное приближение

 

грузок.

Ai к матрице факторных на-

12.2.2Условия на матрицу нагрузок. Центроидный метод

Еще один вариант дополнительных условий накладывается на саму матрицу нагрузок A. Мы рассмотрим требование, заключающееся в том,

что первый исходный признак X(1) должен выражаться только через

первый латентный фактор f(1), второй через комбинацию первого и второго факторов и т.д. Это означает, что матрица факторных нагрузок ищется в виде

 

0

A2;1

A2;2

0

:::

0

1

 

B

A1;1

0

0

:::

0

C

A =

B .

.

.

.

.

C

B

A.q;1

A.q;2

A.q;3

::::.

A.q;q

C

 

B

C

 

B

 

 

 

 

 

 

 

 

 

C

 

B

 

 

 

 

 

 

 

 

 

C

 

B

 

 

 

 

 

 

 

 

 

C

 

B

 

 

 

 

 

 

 

 

 

C

 

B

A

 

A

 

A

 

:::

A

 

C

 

@

 

 

 

 

 

 

 

 

 

A

 

B

 

p;1

 

p;2

 

p;3

 

 

p;q

C

Опишем суть специальной процедуры в этих предположениях. Основная идея состоит в том, что если ~ai i-й столбец матрицы факторных

нагрузок, то для матрицы = AAt имеет место представление

q

= X~ai~ati:

i=1

Поэтому сначала, пользуясь установленным видом A, можно определить ~a1, для чего пользуемся соотношениями

A12;1 = 1;1; A1;j =

1;j

; j = 2; :::; p;

q

 

1;1

12.2. Математическая модель

 

 

 

143

 

матрице

 

(1)

=

1

t

 

Этот алгоритм можно

 

 

1

выбораипроцесснормирующихповторяется.коэф-

далее переходим к

 

улучшить, за счет~a ~a

фициентов, принимающих значения 1. Такая процедура носит название центроидного метода и допускает простое геометрическое истолкование.

Представим себе наши исходные признаки X(1); :::; X(p) в виде векто-

ðîâ â n-мерном пространстве, выходящих из начала координат, имеющих длины, равные p

DX(i); i = 1; :::; p и расположенных друг относительно друга таким образом, что косинус угла между i-ì è j-м признака-

ми равен коэффициенту корреляции r

практических задач вместо упомянутыхi;jхарактеристикмеждуними. Конечноберутсяихже,оцендля-

ки. Теперь изменим некоторые из направлений на противоположные так, чтобы как можно больше коэффициентов корреляции стали бы положительными. Это соответствует умножению векторов-признаков на коэф-

фициенты вида 1. После этого большинство наших векторов собралось

в "пучок". В качестве первого латентного фактора выберем нормиро-

ванный "средний вектор"этого пучка, т.е. тот вектор единичной длины,

который сонаправлен сумме всех векторов, составляющих полученный

пучок. После определения первого фактора перейдем в пространство,

ортогональное направлению его вектора (что означает исключение вли-

яния этого фактора) и продолжим нашу процедуру уже в пространстве

меньшей размерности. Так будет выделен второй фактор и т.д.

 

Изложим далее описанный с геометрической точки зрения метод на

языке формул. Пусть исходные показатели нормированы при помощи

своих среднеквадратических отклонений. Возьмем некоторое начальное

приближение V

(0) для матрицы остаточных дисперсий. Напомним, что

согласно предположениям модели, она диагональна. Поэтому достаточно

выбрать ее диагональные элементы. Обычно, если

r(i) = minj6=i

ri;j, òî

считают, что на

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i-м месте главной диагонали следует поместить 1 r(i),

хотя возможны и иные решения.

 

 

 

 

 

 

~

Возьмем

(0)

=

B

V

(0)

;

и положим hj

 

 

 

 

 

= 1; j = 1; :::; p; h =

(h1; :::; hp)t. Пусть в

соответствии с рассматриваемой процедурой

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(0)~

 

 

 

 

 

 

 

 

~a1(0)

=

 

 

 

h

:

 

(12.2)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

(0)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

qPi;j=1

i;j hihj

 

 

 

Далее вычислим 1(0)

= (0) ~a1(0)~a1(0)t

и определим нулевое приближение

144

 

 

 

Глава 12.

Факторный анализ

второго столбца матрицы факторных нагрузок

 

 

(0)

 

 

 

1(0)~h

 

~a2

=

 

 

 

;

(12.3)

 

 

 

 

p

(0)

 

 

qPi;j=1 1;i;jhi hj

 

где вектор ~ состоит из

h 1 и подобран таким образом, что знаменатель последней дроби имеет наибольшее возможное значение.

Определив таким образом все нулевое приближение для матрицы на-

грузок A, возвращаемся к исходному итеративному алгоритму, описанному в преамбуле.

Анализ приведенного алгоритма показывает, что для центроидного метода мы имеем дело практически с задачей поиска главных компонент, но координаты соответствующих векторов обязаны быть по модулю равными единице.

В заключение этого раздела отметим, что можно использовать более общий вариант дополнительных условий на матрицу нагрузок см. [2, c.394], а также, конечно различные сочетания условий и предположений, описанных в двух последних подпунктах.

12.3Способы оценивания значений латентных факторов

В предыдущем разделе при помощи некоторых итеративных процедур мы описали способы оценивания матрицы факторных нагрузок A è ìà-

трицы остаточных дисперсий

V

. При этом сами факторные нагрузки

Ai;j

можно рассматривать, как

 

 

 

коэффициенты корреляции между

 

i-м исходным признаком X(i) è j-м латентным фактором f(j); i = 1; :::; p; j =

1; :::; q: Само по себе знание этих коэффициентов, конечно, полезно, но оно не решает одну из основных задач факторного анализа придание численного значения латентным факторам для каждого из наблюдаемых объектов. Неплохо было бы также попытаться вывести формулы, которые по значениям показателей ~

X позволяли бы восстанавливать значе- ния латентных факторов для вновь поступающих на изучение объектов. Этими проблемами мы сейчас и займемся.

Ниже мы будем предполагать, что матрицы A è V уже оценены достаточно эффективным образом.

12.3. Латентные факторы

145

12.3.1Метод Бартлетта

Перепишем модель факторного анализа в следующем скалярном виде

q

X(i) = X f(j)Ai;j + i i = 1; :::; p

j=1

и рассмотрим эту запись как модель регрессии, где в качестве значе- ний (уже известных) факторов выступают Ai;j; j = 1; :::; q, а в качестве

(многомерного) выхода ~

X.

Делая обычные предположения о нормальности входящих в наше рассмотрение распределений, можно записать функцию правдоподобия. Если же нормальность отсутствует, то, приводя наши "выходы"к одному масштабу единиц измерения и к общему центру, т.е. нормируя их, мы все равно придем к следующему методу оценки значений латентных факторов как коэффициентов рассматриваемой регрессии: пусть

S(f(1); :::; f(q)) =

p

1

 

0X(i)

q

f(j)Ai;j

12

:

Xi

 

 

 

X

q

i;i

 

@

 

A

 

 

=1

 

V

 

 

j=1

 

 

 

Тогда значениями ~

будут те (f

(1)

; :::; f

(q)

), для которых введенная функ-

F

 

 

ция достигает своего минимума, т.е.

 

 

 

 

 

 

 

~

min

S(f

(1)

; ::::; f

(q)

):

 

S(F ) =

 

 

f(1);:::;f(q)

Теми же методами, какими обычно работает метод наименьших квадратов, нетрудно найти

~ t 1 1 t 1 ~

F = (A V A) A V X:

При подстановке сюда последовательно значений векторов наблюдаемых показателей, мы получим оценки латентных факторов для каждого из наблюдаемых объектов. Заметим также, что если сделано предположение о нормальности, то выписанная оценка заодно является оценкой максимального правдоподобия.

12.3.2Метод Томсона

А теперь предположим, что нам удалось решить поставленную задачу выразить латентные факторы как линейные комбинации исходных показателей. Тогда мы можем записать

~

~

F

= NX;

146

Глава 12. Факторный анализ

ãäå N неизвестная пока матрица, содержащая q строк и p столбцов, оценкой которой и предполагает заняться метод Томсона. Наилучшие значения для элементов этой матрицы можно искать методом наименьших квадратов, исходя из минимизации функции

n q 0

q

12

S(N) = X X @fk(i) X Ni;jXk(j)A :

k=1 i=1

j=1

Из главы "Регрессионный анализ"нам известно, что решение зада- чи на минимум функции S(N) выражается в терминах ковариационной

~

матрицы covX и ковариаций между исходными показателями и латент-

ными факторами ~

 

 

 

 

F . Поэтому, хотя значения самих латентных факторов

нам неизвестны, решить задачу мы все-таки можем, поскольку эти кова-

риации нам известны:

 

 

 

 

~

= AA

t

+ V;

~

covX

 

covF = I;

cov(X(i); f(j)) = Ai;j; i = 1; :::; p; j = 1; :::; q:

Отсюда, вновь применяя известные формулы метода наименьших квадратов, получаем

~ t 1 1 t 1 ~

F = (I + A V A) A V X:

Это и есть искомая оценка. Сравнение оценок по методу Томсона и методу Бартлетта показывает, что если элементы матрицы AtV 1A будут достаточно большими, то и оценки значений латентных факторов этими методами будут близки. А этот факт можно понимать так: если величи- на остаточных дисперсий мала по сравнению с факторными нагрузками, т.е. модель факторного анализа качественно дает близкую к реальности картину, то оба метода дают примерно одно и то же. Предоставляем чи- тателю возможность самому интерпретировать ситуацию, когда оценки по этим двум методам дают существенно различные результаты.

12.4Пример. Латентные факторы в задачах классификации

Рассмотрим работу описанного выше центроидного метода, а также методов Бартлетта и Томсона оценки значений латентных факторов на

12.4. Пример

147

примере следующих данных. В таблице собраны значения суммарной денежной массы США по данным Федерального резервного управления (заимствовано из [13]). В роли изучаемых объектов выступают годы, а в роли показателей, характеризующих эти объекты денежные массы января, июня и сентября. Эти месяцы выбраны в достаточной степени произвольно и лишь для того, чтобы сделать работу алгоритма более простой. Полные данные приводятся в [13].

 

Данные о денежной массе США

 

 

 

 

X1

X2

X3

 

ãîäû

 

январь

èþíü

ñåíò.

 

1960

 

145,7

139,3

141,2

 

1961

 

145,2

142,1

143,9

 

1962

 

149,7

145,2

145,8

 

1963

 

152,5

149,0

151,2

 

 

 

 

148,3

143,9

145,5

 

pсредн.

3,00

3,61

3,66

 

 

DXi

 

 

 

По этим данным считается матрица корреляций (или ковариационная матрица предварительно нормированных показателей)

0

1

10; 86 0; 90

B = B@ 0; 86 1 0; 98 CA : 0; 90 0; 98 1

Поставим задачу поиска двух латентных факторов, объясняющих, в основном, изменчивость этих показателей.

Первая итерация. Согласно приведенным выше рекомендациям, выберем начальное приближение матрицы остаточных дисперсий и "матри-

цы косинусов" :

01

0; 14

0

0

C ;

V (0) = B 0

0; 14

0

@A

0 0 0; 1

(0) = B

V (0) =

0

0; 86

0; 86

0; 98

1

:

 

 

B

0; 86

0; 86

0; 90

C

 

 

0; 90

0; 98

0; 90

 

 

 

@

 

 

 

A

 

148 Глава 12. Факторный анализ

По формуле (12.2) нетрудно найти нулевое приближение для первого

столбца матрицы факторных нагрузок ~a1(0) =

(0; 92; 0; 95; 0; 98)t . Тогда

~a1(0)~a1(0)t =

0

0; 87

0; 90

0; 93

1

1(0) =

0

0; 01

0; 04

 

0; 05

1

:

 

B

0; 85

0; 87

0; 90

C

 

B

0; 01

0; 01

 

0

C

 

 

0; 90

0; 93

0; 96

 

0

0; 05

 

0; 06

 

 

@

 

 

 

A

 

@

 

 

 

A

 

Теперь наиболее сложно формализуемый этап вычислений. Рассмотрим квадрат знаменателя формулы (12.3). Он имеет в нашем случае вид

~

2

2

2

;

z(h) = 0; 01h1

0; 02h1h2 0; 04h2

+ 0; 1h2h3 0; 06h3

а значит, достигает своего наибольшего значения 0,03 на допустимых ~

ïðè h1 = 1; h2 = h3 = 1: Тогда при этих

(0)

 

 

 

 

h

 

 

 

 

 

.

 

 

 

 

 

 

значениях по формуле (12.3)

находим приближение для второго столбца ~a2

 

 

=

(0; 11; 0; 11 ; 0; 06)t

 

Итак, найдены нулевое приближение матрицы нагрузок и первые при-

ближения (1) матрицы косинусов и V (1)

= B (1) матрицы остаточных

дисперсий:

 

A(0) =

0

0; 95

0; 11

1

;

 

 

 

 

 

 

 

B

0; 92

0; 11

C

 

 

 

 

 

 

 

 

0; 98

0; 06

 

 

 

 

 

(1) = 0

 

 

@

 

 

0

A

 

 

 

1 :

 

0; 86

0; 91 0; 92

1

; V (1)

=

 

0

0

0; 09

0; 06

 

B

0; 86

0; 86 0; 91

C

 

 

B

 

 

; 14

0

0; 01

C

 

0; 91 0; 92 0; 96

 

 

 

0; 01 0; 06

0; 04

 

@

 

 

A

 

 

@

 

 

 

 

A

 

Вторая итерация. Производя вновь вычисления по (12.2), видим, что значение квадрата знаменателя в наших условиях равно 2,85, а следовательно,

~a1(1) =

0

0; 94

1

; ~a1(1)~a1(1)t

=

0

0; 86

0; 88

0; 92

1

;

 

B

0; 92

C

 

 

B

0; 85

0; 86

0; 90

C

 

 

0; 98

 

 

0; 90

0; 92

0; 96

 

 

@

 

A

 

 

@

 

 

 

A

 

1(1) =

0

0; 01

0

0; 01

1

 

0

0; 03

0

:

 

B

0; 01

0

0

C

 

 

@

 

 

 

A

 

Квадрат знаменателя (12.3):

~

2

2

;

z(h) = 0; 01h1

+ 0; 02h1h3 + 0; 03h2

12.4. Пример

 

 

 

 

 

 

 

 

 

149

и поэтому можно взять h1 = h2 = h3 = 1. Тогда

 

 

 

~a2(1) =

0

0; 08

1

~a2(1)~a2(1)t =

0

0; 85

0; 87

0; 90

1

 

0; 12

0; 87

0; 90

0; 93

= (2);

 

B

0; 04

C

 

B

0; 90

0; 93

0; 96

C

 

 

@

 

A

 

@

 

 

 

A

 

 

0

0; 15

0; 01

0

1

 

V (2) =

0; 01

0; 10

0; 05

:

 

B

0

0; 05

0; 04

C

 

 

@

 

 

 

A

 

Сравнивая эти результаты с предыдущими, можно заметить некоторые

признаки стабилизации, но приходится сделать еще две итерации, чтобы

процесс действительно стабилизировался. Приведем их краткие резуль-

òàòû.

 

(результаты практически идентич-

Третья и четвертая итерации

íû). ~a1(i) = (0; 92; 0; 95; 0; 98)t,

 

 

 

1

 

 

0

 

0

0

 

 

0; 02

 

 

(i)

= B

0

0

0

C

;

1

0

0

0

 

 

@

 

 

 

A

 

откуда видно, что можно взять h

= h2

= h3

= 1,

~

 

 

0; 14 è,

z(h)

 

следовательно, ~a2(i) =

(0; 14; 0; 0)t.1

Наконец,

 

q

 

 

 

 

 

(i+1) = 0

0; 87

0; 87

0; 90

1 ; V (i+1) = 0

0; 13

0; 01

 

0

1

 

0; 87

0; 90

0; 93

0; 01

0; 10 0; 05

:

B

0; 90

0; 93

0; 96

C

 

 

B

0

0; 05 0; 04

C

 

@

 

 

 

 

 

A

 

 

@

 

 

 

 

 

A

 

Итак, по результатам нашей процедуры можно принять

 

 

 

 

A = 0 0; 95

 

0

1

; V =

0

0 0; 10

0

1

:

 

 

 

 

0; 92

0; 14

C

 

 

B

0; 13

0

0

C

 

 

 

 

 

B 0; 98

 

0

 

 

0

0

0; 04

 

 

 

 

 

@

 

 

 

A

 

 

@

 

 

 

A

 

 

 

 

Учитывая смысл выписанных параметров, можно сделать вывод, что для достаточно полного описания изменчивости признаков достаточно одного фактора. Это же косвенно подтверждается тем, что в последнем из полученных приближений матрицы остаточных дисперсий элементы,

соответствующие взаимодействию ошибок V

ный элемент скорее всего второй выделяемый2;3 намибольше,факторчем вдиагональосновном-

150 Глава 12. Факторный анализ

состоит из "шума", т.е. не относящихся к сути дела случайных помех. Окончательно,

 

X

0 = 0; 92f

(1)

+ 0; 14f(2) + ; D 1 = 0; 13;

8X10

= 0; 95f

(1)

+ 2;

D1 2 = 0; 10;

>

 

2

 

(1)

 

 

<

 

 

 

 

 

 

>X30

= 0; 98f

 

+ 3;

D 3 = 0; 04:

:

 

 

 

 

 

 

Здесь штрихами обозначены нормированные признаки. Займемся теперь оцениванием значений латентных факторов. Начнем с метода Бартлетта. Вычисления показывают,

 

 

0

7; 69 0

1

 

 

0; 15 !

 

 

V 1 =

 

 

0 10 0 ; = AtV 1A =

0; 99

;

 

 

 

B

0

0

25 C

 

39; 55

0; 99

 

 

 

 

@

 

 

A

 

 

 

4; 90 !

 

1 =

 

 

0; 20

7; 94

! ; 1AtV 1 =

7; 16

1; 90

 

;

 

 

0; 03

0; 20

 

0

0; 28

 

0; 73

 

откуда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f(1) = 0; 28X20 + 0; 73X30 ; f(2) = 7; 16X10

1; 9X20 4; 9X30 :

 

(12.4)

Поскольку векторы латентных факторов по методам Томсона и Бартлетта связаны формулой

~ 1 ~

f(toms) = (I + ) f(bart);

то для метода Томсона мы получаем

f(1) = 0; 14X10 +0; 23X20 +0; 61X30 ; f(2) = 0; 79X10 0; 20X20 0; 52X30 : (12.5)

Для получения формул, позволяющих вычислять значения латентных факторов для объектов, вновь поступающих на изучение, необходимо в (12.4) и (12.5) перейти к абсолютным (не нормированным) значениям показателей по формулам

q

0

Xi = DXiXi + Xi; i = 1; 2; 3:

Приведем здесь только результат для (12.4):

f(1) = 1; 01X2 + 2:67X3 + 146; 52;

f(2) = 21:48X1 6; 86X2 17:93X3 + 78; 57:

Результаты факторного анализа приведены в таблице.