5.6. Обобщенный метод наименьших квадратов. Метод Главных Компонент.

При нарушении гомоскедастичности и наличии автокорреляции ошибок рекомендуется традиционный метод наименьших квадратов (метод OLD–OrdinaryLeastSquares) заменятьобобщенным методомGLS(GeneralizedLeastSquares). Он применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии.

Суть метода заключается в том, что подбираются коэффициенты К_i, такие, чтоσ²_i=σ²·К_i,

где σ²_i– дисперсия ошибки при конкретномi–ом значении фактора;

σ² – постоянная дисперсия ошибки при соблюдении предпосылки о

гомоскедастичности остатков;

К_i – коэффициент пропорциональности, меняющийся с изменением

величины фактора.

Уравнение парной регрессии при этом принимает вид

у_i/ =₀/ +₁х_i/ +_i.

По отношению к обычной регрессии уравнение с новыми, преобразованными переменными представляют собой взвешенную регрессию, в которой переменныеуихвзяты с весами 1/. Аналогичный подход применяют и для множественной регрессии, уравнение с преобразованными переменными принимает вид

у/ =₀/ +₁х₁/ +₂х₂/ +…+_mх_m/ +. (15)

Параметры такой модели зависят от концепции, принятой для коэффициента пропорциональности К. В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки _i пропорциональны значениям фактора. Пусть, например,у– издержки производства,х₁– объем продукции,х₂– основные производственные фонды,х₃– численность работников, тогда уравнениеу=₀+₁х₁+₂х₂+₃х₃+является моделью издержек производства с объемными факторами. Предполагая, чтоσ²_iпропорциональна квадрату численности работников (т.е. =х₃), получим в качестве результативного признака затраты на одного работника (у/х₃), а в качестве факторов производительность труда (х₁/х₃) и фондовооруженность труда (х₂/х₃). Соответственно трансформированная модель примет вид

у/х₃=₃+₁х₁/х₃+₂х₂/х₃+,

где вычисленные параметры ₃,₁,₂ численно не совпадают с аналогичными параметрами предыдущей модели. Кроме того, коэффициенты регрессии меняют экономическое содержание: из показателей силы связи, характеризующих среднее изменение издержек производства с изменением абсолютного значения соответствующего фактора на единицу, они фиксируют теперь среднее изменение затрат на работника в зависимости от изменения производительности труда на единицу; и в зависимости от изменения фондовооруженности труда на единицу.

Если же предположить, что в первоначальной модели дисперсия остатков пропорциональна квадрату объема продукции, получаем уравнение регрессии

у/х₁=₁+₂х₂/х₁+₃х₃/х₁+,

где у/х₁– затраты на единицу продукции,х₂/х₁– фондоемкость продукции,х₃/х₁– трудоемкость продукции.

Переход к относительным величинам существенно снижает вариацию фактора и соответственно уменьшает дисперсию ошибки.

Метод Главных Компонент (Principal Components Analysis, PCA) – один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Изобретен К. Пирсоном в 1901 г. Он применяется для: (1) наглядного представления данных; (2) обеспечения лаконизма моделей, упрощения счета и интерпретации; (3) сжатия объемов хранимой информации. Метод обеспечивает максимальную информативность и минимальное искажение геометрической структуры исходных данных. Вычисление главных компонент сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных. Иногда метод главных компонент называют преобразованием Кархунена-Лоэва или преобразованием Хотеллинга. Другие способы уменьшения размерности данных – это метод независимых компонент, многомерное шкалирование, а также многочисленные нелинейные обобщения: метод главных кривых и многообразий, поиск наилучшей проекции, нейросетевые методы «узкого горла», самоорганизующиеся карты Кохонена и др.

Задача анализа главных компонент, имеет, как минимум, четыре базовых версии:

аппроксимировать данные линейными многообразиями меньшей размерности;

найти подпространства меньшей размерности, в ортогональной проекции на которые разброс данных (т.е. среднеквадратичное уклонение от среднего значения) максимален;

найти подпространства меньшей размерности, в ортогональной проекции на которые среднеквадратичное расстояние между точками максимально;

для данной многомерной случайной величины построить такое ортогональное преобразование координат, что в результате корреляции между отдельными координатами обратятся в ноль. Подробнее о методе главных компонент см. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности. – М.: Финансы и статистика, 1989. – 607 с. Россиев А. А.,: Итерационное моделирование неполных данных с помощью многообразий малой размерности, Изд-во СО РАН, 2005.