5.6. Обобщенный метод наименьших квадратов. Метод Главных Компонент.

При нарушении гомоскедастичности и наличии автокорреляции ошибок рекомендуется традиционный метод наименьших квадратов (метод OLD – Ordinary Least Squares) заменять обобщенным методом GLS(Generalized Least Squares). Он применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии.

Суть метода заключается в том, что подбираются коэффициенты К_i, такие, что σ²_i =σ² ·К_i,

где σ²_i – дисперсия ошибки при конкретном i–ом значении фактора;

σ² – постоянная дисперсия ошибки при соблюдении предпосылки о

гомоскедастичности остатков;

К_i – коэффициент пропорциональности, меняющийся с изменением

величины фактора.

Уравнение парной регрессии при этом принимает вид

у_i/ = ₀/ + ₁х_i/ +_i.

По отношению к обычной регрессии уравнение с новыми, преобразованными переменными представляют собой взвешенную регрессию, в которой переменные у и х взяты с весами 1/ . Аналогичный подход применяют и для множественной регрессии, уравнение с преобразованными переменными принимает вид

у/ =₀/ +₁х₁/ +₂х₂/ +…+_mх_m/ +. (15)

Параметры такой модели зависят от концепции, принятой для коэффициента пропорциональности К. В эконометрических исследованиях довольно часто выдвигается гипотеза, что остатки _i пропорциональны значениям фактора. Пусть, например, у – издержки производства, х₁ – объем продукции, х₂ – основные производственные фонды, х₃ – численность работников, тогда уравнение у =₀ +₁х₁ +₂х₂ + ₃х₃ + является моделью издержек производства с объемными факторами. Предполагая, что σ²_i пропорциональна квадрату численности работников (т.е. = х₃), получим в качестве результативного признака затраты на одного работника (у/х₃), а в качестве факторов производительность труда (х₁/х₃) и фондовооруженность труда (х₂/х₃). Соответственно трансформированная модель примет вид

у/ х₃ =₃ +₁х₁/ х₃ +₂х₂/ х₃ +,

где вычисленные параметры ₃, ₁, ₂ численно не совпадают с аналогичными параметрами предыдущей модели. Кроме того, коэффициенты регрессии меняют экономическое содержание: из показателей силы связи, характеризующих среднее изменение издержек производства с изменением абсолютного значения соответствующего фактора на единицу, они фиксируют теперь среднее изменение затрат на работника в зависимости от изменения производительности труда на единицу; и в зависимости от изменения фондовооруженности труда на единицу.

Если же предположить, что в первоначальной модели дисперсия остатков пропорциональна квадрату объема продукции, получаем уравнение регрессии

у/ х₁ =₁ +₂х₂/ х₁ +₃х₃/ х₁ +,

где у/ х₁ – затраты на единицу продукции, х₂/ х₁ – фондоемкость продукции, х₃/х₁ – трудоемкость продукции.

Переход к относительным величинам существенно снижает вариацию фактора и соответственно уменьшает дисперсию ошибки.

Метод Главных Компонент (Principal Components Analysis, PCA) – один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Изобретен К. Пирсоном в 1901 г. Он применяется для: (1) наглядного представления данных; (2) обеспечения лаконизма моделей, упрощения счета и интерпретации; (3) сжатия объемов хранимой информации. Метод обеспечивает максимальную информативность и минимальное искажение геометрической структуры исходных данных. Вычисление главных компонент сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных. Иногда метод главных компонент называют преобразованием Кархунена-Лоэва или преобразованием Хотеллинга. Другие способы уменьшения размерности данных – это метод независимых компонент, многомерное шкалирование, а также многочисленные нелинейные обобщения: метод главных кривых и многообразий, поиск наилучшей проекции, нейросетевые методы «узкого горла», самоорганизующиеся карты Кохонена и др.

Задача анализа главных компонент, имеет, как минимум, четыре базовых версии:

аппроксимировать данные линейными многообразиями меньшей размерности;

найти подпространства меньшей размерности, в ортогональной проекции на которые разброс данных (т.е. среднеквадратичное уклонение от среднего значения) максимален;

найти подпространства меньшей размерности, в ортогональной проекции на которые среднеквадратичное расстояние между точками максимально;

для данной многомерной случайной величины построить такое ортогональное преобразование координат, что в результате корреляции между отдельными координатами обратятся в ноль. Подробнее о методе главных компонент см. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности. – М.: Финансы и статистика, 1989. – 607 с. Россиев А. А.,: Итерационное моделирование неполных данных с помощью многообразий малой размерности, Изд-во СО РАН, 2005.