книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

знаков. Естественно полагать, что ошибка прогноза X по У (обозна­ чим ее 6) будет определяться так называемой остаточной дисперсион­ ной матрицей вектора X при вычитании из него наилучшего прогноза по Y, т. е. матрицей А = (Ді;-), где

где f (А) — некоторая функция (качества предсказания) от элементов остаточной дисперсионной матрицы А.

Рао [29] решал задачу наилучшего прогноза X только в классе р'

*і= і / = і

tr (А) и II А И называются соответственно следом и евклидовой нормой матрицы А. Он показал, что функции (4.13) и (4.14) одновременно достигают минимума тогда и только тогда, когда в качестве г/W, г/(2)......

,...,г/(р,) выбраны первые р' главных компонент вектора X, причем величина ошибки прогноза б явным образом выражается через последние р — р' собственных чисел А,р+ъ ..., Ар исходной ковариа­ ционной матрицы 2 или через последние р — р' собственных чисел

АР' +1...... Ар выборочной ковариационной матрицы 2, построенной по

предсказывающих признаков zW, z<2>, ..., z<p>и более широкого клас­ са функций f (А) и показано, что шіп / (А) достигается тогда и только

143

нам удобнее будет рассматривать теперь как проекцию исследуемых

Геометрическая интерпретация сформулированных выше экстре­ мальных свойств «автопрогноза» (самовоспроизводимости) главных ком­ понент позволяет получить следующие интересные факты.

С в о й с т в о 1. Сумма квадратов расстояний от исходных точекнаблюдений X lt Х2, ...,Хп до пространства, натянутого на первые р главных компонент, наименьшая относительно всех других подпрост­ ранств размерности р', полученных с помощью произвольного линей­ ного преобразования исходных координат.

Это свойство станет понятным (в свете вышеописанного экстремаль­ ного свойства «автопрогноза»), если напомнить, что сумма квадратов расстояний от исходных точек до подпространства, натянутого на р ’ первых главных компонент, есть не что иное, как умноженная на я (об­ щее число наблюдений) суммарная дисперсия остаточных компонент

подпространству, натянутому на первую главную компоненту (т. е. р = 2 и р' = 1), а сумма квадратов расстояний до этого подпространст­ ва есть сумма перпендикуляров, опущенных из точек, изображающих

наблюдениях; = (х-1*, Х;2)), на эту ось (сама ось может быть ин­ терпретирована в данном случае как линия ортогональной регрессии х<2> пох<[>), см. [1, с. 127].

С в о й с т в о 2. Среди всех подпространств заданной размерности

р' главных компонент, наименее искажается сумма квадратов расстоя­ ний между всевозможными парами рассматриваемых точек-наблюдений.

Поясним это свойство. Пусть Yp' (С) ■— подпространство размер­ ности р', натянутое на координаты у<1), #(2), ..., у {р'\ получаемые из

!= 1/=1

выражающие суммы квадратов расстояний между всевозможными па­ рами имеющихся у нас наблюдений соответственно в исходном про­ странстве X и в подпространстве Yp>(С).

145

Из простых геометрических соображений очевидно, что всегда

Мр' (С) < Мр при р' < р.

Рассматривая в качестве меры искажения суммы квадратов попар­ ных взаимных расстояний между точками-наблюдениями величину

МР- М Р-(С),

матрицы 2 (т. е. подпространство YP' (Lp-) является подпространст­ вом, натянутым на первые р' главных компонент вектора наблюде­

ных компонент, наименее искажаются расстояния от рассматриваемых точек-наблюдений до их общего «центра тяжести», а также углы между прямыми, соединяющими всевозможные пары точек-наблюдений с их

~\-х(п)!п—среднее арифметическое по всем наблюдениям і-то признака,

т. е. yU) x(l)

■xi0 x2 ■

Введем в рассмотрение матрицу размера (п X п)

Нетрудно установить геометрический смысл элементов этой ма­ трицы:

рр

это квадрат расстояния от точки-наблюдения Ху до общего «центра

тяжести» X, а

146

величина, пропорциональная косинусу угла между прямыми, соединя­

Кстати, из описанного выше следует, что естественной мерой отно­ сительного искажения геометрической структуры исходной совокуп­ ности наблюдений при их проектировании в пространство меньшей раз­ мерности, натянутое на первые р' главных компонент, является ве­

Lpt-f 1-f-... 4-Lp

7 (P')

k\+kl + ...+k2P ‘

При неизвестной истинной ковариационной матрице 2 ее собственные значения L1; ..., кр следует заменить собственными значениями L1(

..., кр выборочной ковариационной матрицы 2 и соответственно снаб­ дить «крышками» сверху характеристики к и у степени искажения гео­ метрической структуры исследуемой совокупности наблюдений.

3. Статистические свойства выборочных главных компонент; статистическая проверка некоторых гипотез

Смысл математико-статистических методов, как известно, состоит в том, чтобы по некоторой части исследуемой генеральной совокупности (т. е. по выборке, или, что то же, — по ограниченному ряду наблюде­ ний Х ъ Х 2, ..., Хп) выносить обоснованные суждения о ее свойствах в целом.

Применительно к нашей задаче нас, в первую очередь, будет инте­ ресовать, как сильно свойства и характеристики выборочных главных компонент могут отличаться от соответствующих свойств и характери­ стик главных компонент всей генеральной совокупности, и, в частности,, как эта мера отличия зависит от объема выборочной совокупности (п),. по которой эти выборочные главные компоненты были построены. Так,, например, для изучения природы внутренних связей между характе­ ристиками различных статей семейного бюджета потребления и для

147

выявления небольшого числа наиболее существенных в этом смысле показателей исследователь может обследовать какое-то количество (п) семей и по полученным результатам наблюдения Хх, Х 2, ■■■, Хп по­

строить главные компоненты у^х\ у&, ...,у(р,'>. Однако, увеличивая объем выборки п, т. е. добавляя к нашим наблюдениям результаты на­ блюдения по дополнительно обследованным семьям, естественно ожи­ дать, что пересчет главных компонент с учетом добавленных наблюде­ ний, вообще говоря, изменит (хотя, быть может, и незначительно) ра­

(столь большое) п, дальнейшее увеличение которого уже не будет прак­ тически приводить к изменению основных характеристик главных ком­ понент (другими словами, мы вправе ожидать, что главные компоненты выборок достаточно большого объема практически совпадают с глав­ ными компонентами всей генеральной совокупности).

Выяснению некоторых вопросов, связанных с оценкой близости

различных выборочных (у<‘\ tu и теоретических (у (і), /*, А,г) ха­ рактеристик главных компонент, и посвящен настоящий пункт. При этом, приведенные ниже результаты исследований неизменно опирают­ ся на допущение нормальности исследуемой генеральной совокупности и взаимной независимости извлеченных из нее наблюдений. Как и преж­ де под Хх, Х 2, ..., Х„ мы будем понимать центрированные наблюдения, которые, строго говоря, даже при независимых исходных наблюдениях уже не будут независимыми. Однако при достаточно больших п мы мо­ жем пренебречь этим эффектом нарушения независимости. Таким обра­ зом, Х і £ N (О, 2), і'= 1 ,2 , ..., п (как следует из предыдущего, вектор средних значений а = M X определяет лишь точку в /ъмерном прост­ ранстве, в которую переносится начало координат при переходе к глав­ ным компонентам, и мы с самого начала будем считать этот перенос уже осуществленным).

а) Вспомогательные факты, относящиеся к свойствам выборочных

матрицы 2 различны, что и имеет место в большинстве приложений анализа главных компонент, то справедливо следующее:

— характеристические корни Хх, %2, •••> ^р и соответствующие им собственные векторы Іх, 12, ...,1Р выборочной ковариационной матрицы

2 являются оценками максимального правдоподобия для соответствую­ щих теоретических характеристик (соответственно ?:х, К2, ..., Хр и /х, /2, ..., Ір) и обладают всеми хорошими свойствами этих оценок (со­ стоятельность, асимптотическая эффективность). Следовательно, выбо­ рочные главные компоненты

■ y(»= f;X (£--= 1, 2, ....

можно интерпретировать как оценки главных компонент уй) всей ге­ неральной совокупности. Если среди характеристических корней Хх, Я2, ..., встречаются равные между собой, то оценки максимального

148

правдоподобия для Xt и /г определяются иначе. Аналогичные результа­ ты имеют место и при оценке характеристических корней и соответст­ вующих им собственных векторов корреляционной матрицы;

— величины

асимптотически (по п - * - оо ) подчиняется многомерному нормальному распределению с вектором средних значений О и с ковариационной матрицей

h (kj—Xi)2 •hl}-

( і ¥=і)

Заметим, что этот результат имеет место для всякого Xt, отличного от всех остальных характеристических корней, каждый из которых может

— ковариация между r-й компонентой выборочного собственного

вектора lt и q-я компонентой выборочного собственного вектора /7- равна

XtXjl^ i f {п-\)(Хг- Х у '

Следующий факт [4] относится к весьма специфической ситуации, характеризуемой так называемым «эффектом большой размерности», когда, несмотря на достаточно большой объем выборки п, поведение выборочных характеристик обнаруживает неожиданные особенности из-за соизмеримо (с п) большого значения размерности р\ при этом для вывода этого факта не требуется нормальности исходных наблюдений;

— если компоненты х вектора наблюдений X взаимно незави­ симы и пронормированы таким образом, что Мх<‘>= 0 и Dx<‘>= 1, причем существуют все моменты М (х<г>)ѵ, и если объем выборки п и размерность р одновременно достаточно велики, причем

]іш^-^- = с (0 < [с < о о ),

П~* оо ТІ

149

то распределение случайно выбранного из последовательности Х1(

Х2, ..., Хр характеристического корня «слабо сходится»1 к некоторому предельному распределению (сосредоточенному на конечном отрезке), моменты которого задаются формулой.

Заметим, что примером подобного соотношения между объемом вы­ борки и размерностью может служить задача, описанная в § 1 главы V,

в которых компоненты нормального вектора наблюдений X взаимно не­ зависимы:

—пусть X £ N(a, Е), где ковариационная матрица имеет диагональ­ ный вид, т. е. соѵ (хѴ\ хЩ = 0 при і Ф /, і, j = 1, 2, ..., р. И пусть I rtj I — определитель выборочной корреляционной матрицы, построен­ ной по наблюдениям (Хь ..., Хп). Тогда при достаточно больших п (п-*~ оо ) статистика критерия отношения правдоподобия для провер­ ки гипотезы о диагональном виде Е может быть определена в виде

при относительной ошибке, не превосходящей сотых долей процента;

— пусть наблюдения Xj извлечены из так называемой сферической р-мерной нормальной совокупности N (а, сг2У), т. е. компоненты каж­ дого из векторов Xj взаимно независимы и имеют одинаковые дис пе­ сни D x\'\ равные а2. Тогда ковариационная матрица Е = а 2/ имеет единственный корень (кратности р), оценкой максимального правдо­ подобия для которого является величина

рп i=i /=і

причем величина Х/сг2 распределена по закону %2 (р (п — 1)). Статистика критерия отношения правдоподобия для проверки ги­

потезы о сферичности распределения исследуемого вектора наблюде-

1 Последовательность функций Fn (х), в частности последовательность функций распределения, называется слабо сходящейся (прия-^оо) к функ­ ции F (х), если Fn (х) сходится к функции на множестве ее точек непрерывности.

150

нии имеет вид

при относительной ошибке данного приближенного соотношения, не превосходящей сотых долей процента.

б) Применения свойств выборочных характеристик главных ком­ понент. Опишем некоторые методы построения разного рода интер­ вальных оценок для интересующих нас неизвестных характеристик главных компонент и статистической проверки гипотез, относящихся

кэтим характеристикам:

—интервальная оценка (доверительный интервал) для і-го ха­ рактеристического корня Xt. Она получается (при больших п) с учетом

где данное неравенство справедливо с вероятностью 1 — а (величиной а заранее задаемся), а и а — 100--|'%-ная точка стандартного нормаль-

~2

ного распределения (находится из таблиц).

Возвращаясь к примеру 1, по формуле (4.17), находим 95%-ный (а = 0,05) доверительный интервал для наименьшего характеристи­

ного интервала на случай кратных, т. е. повторяющихся корней. Если г — кратность корня Хи то 100 (1 — а) — процентный доверительный интервал для неизвестного значения Xt задается неравенством

■-----------^ ---------- < X, < ----------- ■- — , (4.18)

151

Однако откуда мы можем знать, что неизвестный характеристиче­ ский корень Хі имеет кратность и, в частности, кратность, равную г? Этот вопрос может быть решен с помощью следующего критерия, пред­ ложенного в [15];

■— проверка гипотезы о равенстве нескольких (а именно г) характе­ ристических корней: Xt = Хі+1 = ... = Хі+Т^х. Очевидно, альтер­ нативой к этой гипотезе является утверждение, что не все корни среди

свободы.

Заметим, что особый интерес может представить специальный слу­ чай і = р — г + 1, т. е. проверка гипотезы о равенстве последних г собственных значений X, что будет означать независимость и сферич­ ность г последних признаков исследуемого вектора наблюдений.

Возвратимся к примеру 1. Тот факт, что оценка второго собствен­

Апоскольку %о,05 (2) = 5,99 и, следовательно,

Т2 < Х о,05(2),

то гипотезу Х2 = Х3 следует принять. Но тогда нужно пересчитать до­ верительный интервал для Х2 с учетом его кратности (в соответствии

”2

где последнее неравенство будет справедливо в среднем в 95 случаях из 100;

— проверка гипотезы о независимости признаков + 1), + 2)...... л+>, являющихся компонентами вектора наблюдений X. Такая проверка нужна для установления целесообразности применения метода главных компонент: ведь, если признаки являются взаимно независимыми, то переход к главным компонентам сведется по существу лишь к упорядо­ чиванию исходных признаков по принципу убывания их дисперсий.

152