19. Метод главных компонент.

Метод главных компонент (МГК) дает возможность по m – числу исходных признаков выделить m главных компонент (ГК), или обобщенных признаков. При этом пространство ГК ортогонально, что предотвращает появление эффекта мультиколлинеарности.

Допускаем, что значения множества взаимосвязанных признаков порождают некоторый общий результат, следовательно, можно записать: F = XB, где B – вектор параметрических значений лин. уравнения. Обязательным условием при этом является выполнение равенства D(X) = D(XB). Отсюда D(F) = B’SB, где S – ковариационная матрица (дисперсионная оценка МСВ X)

Поиск ГК сводится к задаче последовательного выделения 1ой ГК F₁, обладающей макс. дисперсией, второй ГК, имеющей 2ую по величине дисперсию, и т.д. Подобная задача имеет решение при условии введения ограничений. Пусть . При B’B = 1 максимизируем B’SB, используя метод множителей Лагранжа: и , откуда . След-но, получаем |S-E|B = 0 и характеристич. ур-ние для поиска _j будет: |S-E| = 0.

Из множества значений характеристических чисел _j относительно первого, наибольшего ₁ находим вектор B₁ значений для первой ГК F₁, для второго по величине характеристического числа ₂ - вектор значений второй компоненты B₂ и т.д. до _m и B_m для F_m при m – исходном числе анализируемых признаков. Здесь B – векторы величин, представляющих координаты главных компонент F_r в пространстве признаков R^X, они же характеристики силы связи r-ой ГК и j-го признака X_j.

Если исходную матрицу данных Х предварительно стандартизировать, то матрица ковариаций S перейдет в матрицу парных корреляций R, и вектор В будет собственным вектором по стандартизированным данным Z. Решающее уравнение в матричной форме принимает вид: (R-E)Z = 0

Результаты применения МГК представляются данными матрицы отображения А. Возможна итоговая запись зависимости значений исходных признаков от значений ГК:

Z = AF’ или z_ij = a_j1f_1i+a_j2f_2i+…+a_jrf_ri (1)

Либо зависимости значений ГК от значений элементарных признаков:

F = A^-1Z’ или (2)

В уравнениях (1) и (2) приняты обозначения: a_jr – весовой коэффициент r-ой ГК для j-ой переменной, оценка частного коэффициента корреляции для F_r и X_j (элементы j-ой строки матрицы А); a_rm – весовые коэф-ты (характеристики силы связи) для m элементар. признаков (j = 1,..,m) для r-ой ГК

Уравнения (2) относительно F являются производными от (1):

A = V^1/2  (V^1/2)A = (V^1/2)V^1/2  A’A =   Z = AF  (A’A)^-1A’Z = (A’A)^-1A’AF  (A’A)^-1A’Z = F  F = ^-1A’Z, т.е.

В упрощенном виде, для двумерной СВ, процедуру выделения ГК можно показать геометрически:

1 ) первоначально имеется некоторое эмпирическое распределение данных в двумерном пространстве с центром (₁;₂)

2) Центрированием и стандартизацией исходное пространство признаков сжимается и система координат переносится в центр распределения данных

3) Решением матричного уравнения (R-E)Z = 0 находят параметры эллипса, описывающего эмпирическое распределение объектов в нормированном признаковом пространстве R^Z, соответственно устанавливается положение главных компонент (осей), обобщающих вариацию признаков Z₁ и Z₂.