Глава 7. Метод главных компонент

7.1. Математическая модель метода главных компонент.

Метод главных компонент (МГК) был предложен Пирсоном в 1901 году и ,затем вновь открыт и детально разработан Хоттелингом /1933/. Ему посвящено большое количество исследований, и он широко представлен в литературных источниках, обратившись к которым можно получить сведения о методе главных компонент с различной степенью детализации и математической строгости (например, Айвазян С. А. и др., 1974, 1983, 1989).

Из числа методов, позволяющих обобщать значения элементарных признаков, метод главных компонент выделяется простой логической конструкцией и позволяет понять общую идею и целевые установки методов факторного анализа.

Метод главных компонент дает возможность по m - числу исходных признаков выделить m главных компонент, или обобщенных признаков. Пространство главных компонент ортогонально.

Математическая модель главных компонент базируется на допущении, что значения множества взаимосвязанных признаков порождают некоторый общий результат. предположим, что форма связи признаков линейна, тогда уравнение зависимости результата имеет вид

F=XB , (7.1.1.)

где В - вектор параметрических значений линейного уравнения связи. Условием выполнения такого равенства является соответствие дисперсий, т.е. D(Х) = D(ХВ). Поскольку Х - многомерная случайная величину, её дисперсионная оценка - это ковариационная матрица S. Постоянную величину В вынесем за знак дисперсии, получим:

D(F) = B’SB. (7.1.2.)

Поиск главных компонент сводится к задаче последовательного выделения первой главной компоненты F₁ , обладающей максимальной дисперсией , второй главной компоненты , имеющей вторую по величине дисперсию и т. д.. Такая задача имеет решение при условии введения ограничений. Пусть В’В=b₁²+b₂²+…+b_m² = 1 . Таким образом, математическая формулировка задачи имеет вид:

max { B’SB } (7.1.3)

при условии: В’В=b₁²+b₂²+…+b_m² = 1.

Для решения поставленной задачи используем метод множителей Лагранжа:

r= В’SВ – ( В’В-1); =2SB-2B=0, откуда SB-B=0.

Следовательно, получим |S-E|B=0 и характеристическое уравнение для поиска _{j ,}будет равно |S-E|=0.

Из множества значений характеристических чисел _j относительно первого, наибольшего ₁ находим вектор В₁ – вектор значений для первой главной компоненты F₁.

Для второго по величине характеристического числа ₂ находим вектор В₂ – вектор значений для второй главной компоненты F₂ и т. д.

Для _m находим вектор В_m – вектор значений для m-ой главной компоненты F_m.

Здесь: В – векторы величин, представляющих координаты главных компонент F_r в пространстве признаков R^x , они же одновременно являются характеристиками силы связи r-ой главной компоненты и j-го признака Xj.

Если исходную матрицу данных Х предварительно стандартизировать, то матрица ковариаций S перйдет в матрицу парных корреляций R, тогда вектор В будет собственным вектором по стандартизированным данным U. Решающее правило в матричной форме принимает вид:

(R-E)U=0 (7.1.4)

В результате применения метода главных компонент получаем матрицу отображения А. Итоговая зависимость значений исходных признаков от значений главных компонент имеет вид: BZ=AF или Z_ij=a_j1f_1j+a_j2f_2j+ …+a_jrf_{ri .} (7.1.5)

Либо F=A^-1Z’, f_ri=(a_1rz_i1+a_2rz_i2+…+a_mrz_im) (7.1.6.)

Здесь: z_ij – значение j-ой стандартизованной переменной по i-му объекту,

f_ri – r-я главная компонента Fr по ш-му объекту наблюдения,

a_jr – весовой коэффициент r-ой главной компоненты для j –й переменной.

Уравнения (7.1.6.) являются производными от (7.1.5).

Для двумерной случайной величины процедуру выделения главных компонент можно показать геометрически (см. рис 7.1.1).

Рис. 7.1.1. а) Первоначально имеется некоторое эмпирическое распределение данных в двумерном признаковом пространстве с центром (μ₁,μ₂).

Рис.7.1.1. б) Центрированием и стандартизацией это пространство признаков сжимается, и система координат переносится в центр распределения данных.

Рис.7.1.1. в) Решением матричного уравнения (R-E)V=0 найдем параметры эллипса, описывающие эмпирическое распределение объектов в нормированном признаковом пространстве R^z , соответственно устанавливается положение главных компонент (осей), обобщающих вариацию признаков Z₁ и Z₂ .

На рисунке видно, что задача выделения главных компонент сводится к поэтапному решению классических задач аналитической геометрии: изменению масштаба пространства, повороту координатой системы, координатному отображению векторов в старой системе координат и новой, после поворота. На рис. 7.1.1. в) видно отображение z в f и, наоборот, f в z . Это было записано ранее в виде функциональных уравнений связи (7.1.5), (7.1.6). Первоначально число главных компонент равно числу исходных элементарных признаков.