5.7. Способ устранения коррелированности регрессоров с остатками с помощью инструментальных переменных

Пусть имеется база данных . Здесь Z – вектор инструментальных переменных. Пусть выявлена коррелированность с остатками е. Уравнение регрессии дает несостоятельные оценки параметров . Причем – это регрессоры, не коррелированные с остатками (инструментальные переменные).

Идея метода инструментальных переменных: подобрать новые инструменты переменные , которые бы имели сильную корреляцию с и не коррелировали с остатками е.

При этом в качестве { } могут выступать те регрессоры из числа { }, которые не коррелируют с E, а также другие величины.

Обычно e > m, т.е. число компонент вектора больше , чем . Например, в тесте Уайта при этих переменных коэффициент незначимы.

Далее, исходные регрессоры аппроксимируются через инструментальные независимые переменные и тем самым “очищаются” от коррелированности с E . здесь применяется метод наименьших квадратов (первый шаг). Оценки получаются состоятельными.

Переменные , аппроксимированные линейными функциями от инструментальных переменных Z_k называется очищенными (от коррелированности с остатками E) или новыми инструментальными переменными.

В силу линейности всех связей можно связать полученные в итоге состоятельные оценки с Y через исходные регрессоры . Так мы приходим к алгоритму метода наименьших квадратов.

5.8. Двух шаговый метод наименьших квадратов

1. Исходные (неочищенные) регрессоры x_j аппроксимируются методом линейных уравнений регрессии от выбранных инструментальных переменных {Z_k}, .

( )

Получаем m ЛУМР, причем, независимых друг от друга (метод наименьших квадратов применяется m - раз). Для этого используется классический метод наименьших квадратов. Здесь { } - матрица искомых коэффициентов; j - номер строки этой матрицы, равный номеру исходного регрессора x_j; k – номер члена в ЛУМР, равный номеру инструментальной переменной Z_k. Классический метод наименьших квадратов используется поочередно для каждого x_j .

Замечание. В силу некоррелированности инструмент. переменная Z_k с остатками E эти оценки получаются состоятельными метода наименьших квадратов.

()

()

N – число опытов; i – номер опыта;

Z – матрица планирования эксперимента, где базисные функции – линейные функции от Z_k.

Замечание: переменные не коррелируют с ошибками регрессии , поскольку они выражаются в виде линейной комбинации некоррелирующих с E переменных {Z_k}.

2. Будем рассматривать { } как новые инструментальные переменные для Y и аппроксимируем Y через них.

( )

Вектор коэффициентов для каждой фиксированной компоненты оцениваем снова с помощью классического метода наименьших квадратов:

Всего получается таких l формул метода наименьших квадратов вида ( ); т.е. ; где q - число исходных результативных переменных.

3. Поскольку все преобразования линейны, то подставляя ( ) в ( ) получим выражение оценки двухшагового метода наименьших квадратов через исходные (а значит экономически интерпретируемые) инструменты переменной Z_j

( )

Оценки [b_jq]состоятельные

Замечание: Для нелинейного МУР применимость 2х – шаговой процедуры сохраняется, однако связь с получается уже численная.

Вывод: Нужно сделать преобразования переменных перед применением 2х шагов метода наименьших квадратов

Пример:

Вводим

Далее 2х –шаговую процедуру можно применять по стандартной схеме к ( )

Второй способ для систем одновременных уравнений (СОУ). Построить НСМ с числом нейронов в выходном слое, равном числу компонентов вектора