ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

AB — расстояние до линии регрессии, измеренное параллельно оси xˆ1 , равное величине ei1 ,

AC — расстояние, измеренное параллельно оси xˆ2 , равное величине ei2 ,

AD — расстояние, измеренное перпендикулярно линии регрессии, равное ei ,

OE — вектор-строка a параметров ортогональной регрессии.

Очевидно, что оценить параметры регрессии можно, измеряя расстояния до линии регрессии перпендикулярно самой этой линии (на рисунке — отрезок AD). Такая регрессия называется ортогональной. В уравнении такой регрессии обе переменные остаются в левой части с коэффициентами, сумма квадратов которых должна равняться единице (длина вектора параметров регрессии должна равняться единице):

Чтобы убедиться в том, что такая регрессия является ортогональной, достаточно вспомнить из линейной алгебры, что скалярное произведение вектора на вектор

единичной длины равно длине проекции этого вектора на единичный вектор. В левой части (4.35) как раз и фигурирует такое скалярное произведение. На рисунке вектором параметров a является OE, проекцией вектора наблюдений OA(ˆxi) на этот вектор — отрезок OF , длина которого (xˆia) в точности равна расстоянию от точки облака наблюдений до линии регрессии, измеренному перпендикулярно этой линии (ei ).

Следует иметь в виду, что и в «обычной» регрессии, в левой части которой остается одна переменная, коэффициент при этой переменной принимается равным единице, т.е. фактически используется аналогичное ортогональной регрессии требование: вектор параметров при переменных в левой части уравнения должен иметь единичную длину.

В противоположность ортогональной «обычные» регрессии называют простыми. В отечественной литературе простой часто называют «обычную» регрессию с одной факторной переменной. А регрессию с несколькими факторными переменными называют множественной.

Теперь остаточную дисперсию в матричной форме можно записать следующим образом:

Для минимизации остаточной дисперсии при ограничении на длину вектора параметров регрессии строится функция Лагранжа:

L (a, λ) = a M a − λa a,

где λ — множитель Лагранжа (оценка ограничения).

Далее находятся производные этой функции по параметрам регрессии, и эти производные приравниваются к нулю. Результат таких операций в матричной форме представляется следующим образом (поскольку M — симметричная матрица:

Таким образом, множитель Лагранжа есть собственное число матрицы ковариации M , а вектор оценок параметров регрессии — соответствующий правый собственный вектор этой матрицы (см. Приложение A.1.2).

Матрица M является вещественной, симметричной и положительно полуопределенной (см. Приложение A.1.2).

Последнее справедливо, т.к. квадратичная форма µ M µ при любом векторе µ неотрицательна. Действительно, эту квадратичную форму всегда можно представить как

Из линейной алгебры известно, что все собственные числа такой матрицы вещественны и неотрицательны, следовательно λ неотрицательно.

После умножения обеих частей уравнения (4.36) слева на a из него следует,

что

т.е. минимизации остаточной дисперсии соответствует поиск минимального собственного числа матрицы ковариации переменных M . Соответствующий этому собственному числу правый собственный вектор этой матрицы есть вектор оценок параметров ортогональной регрессии a (см. Приложение A.1.2). Кроме того, в соответствии со свойствами матрицы M , сумма ее собственных чисел равна сумме ее диагональных элементов (следу матрицы), и, т.к. λ — меньшее из двух собственных чисел, то λ < 12 (m11 + m12) (случай двух одинаковых собственных чисел не рассматривается, т.к. он имеет место, когда связь между переменными отсутствует, и m12 = 0).

Оценка свободного члена b, как и прежде, получается из условия прохождения линии регрессии через точку средних: b = xa¯ , где x¯ — вектор-строка средних значений переменных.

Расчетное значение xˆi дает вектор OD (см. рис. 4.2), который равен разности векторов OA и OF , т.е. (в матричной форме):

ˆ c ˆ −

X = X ea .

Теперь можно дать еще одну оценку параметров уравнения (4.18):

a12 ( ) = −a2 , a1

b1 ( ) = x¯1 − a12 ( ) x¯2,

ei1 ( ) = 1 ei. a1

Полученная оценка углового коэффициента a12 ( ) лежит между его оценками по прямой и обратной регрессиям. Действительно, из (4.36) следует, что

90°

x1 x1

>90°

x2

kx2

Рис. 4.3

а если m12 0, то a12 (2) < a12 ( ) < a12.

Понятно, что эти 3 оценки совпадают тогда и только тогда, когда λ = s2e = 0, т.е. зависимость функциональна.

В действительности любое число, лежащее на отрезке с концами a12, a12 (2) (т.е. либо [a12, a12 (2)], если m12 0, либо [a12 (2) , a12], если m12 0), может являться МНК-оценкой параметра α12 , т.е. оценкой этого параметра является γ1a12 + γ2a12 (2) при любых γ1 и γ2 , таких что γ1 0, γ2 0, γ1 + γ2 = 1. Каждая из этих оценок может быть получена, если расстояния от точек облака наблюдения до линии регрессии измерять под определенным углом, что достигается с помощью предварительного преобразования в пространстве переменных.

Убедиться в этом можно, рассуждая следующим образом.

Пусть получена оценка углового коэффициента по ортогональной регрессии (рис. 4.3, слева). Теперь проводится преобразование в пространстве переменных: xˆ2 умножается на некоторое число k > 1, и снова дается оценка этого коэффициента по ортогональной регрессии (рис. 4.3, справа). После возвращения в исходное пространство получается новая оценка углового коэффициента, сопоставимая со старой (возвращение в исходное пространство осуществляется умножением оценки коэффициента, полученной в преобразованном пространстве, на число k).

Этот рисунок не вполне корректен, т.к. переход в новое пространство переменных и возвращение в исходное пространство ведет к смещению линии регрессии. Однако

158 Глава 4. Введение в анализ связей

x¯−1 1 N ˆ−1 — вектор-строка средних значений факторных переменных.

= N 1 X

Расчетные значения моделируемой переменной, т.е. ее математические ожида-

Как и в случае двух переменных объясненной дисперсией является дисперсия расчетных значений моделируемой переменной:

(4.38)

Коэффициент множественной корреляции r1,−1 есть коэффициент корреляции между моделируемой переменной и ее расчетным значением (cov — обозначение ковариации):

Коэффициент детерминации, равный квадрату коэффициента множественной корреляции:

s21

R2 = q ,

s21

показывает долю объясненной дисперсии в общей.

Если связь отсутствует и α−1 = 0 (нулевая гипотеза), то расчетная статистика

имеет F -распределение с n − 1 степенями свободы в числителе и N − n степенями свободы в знаменателе — Fn−1,N −n . Логика использования этой статистики сохраняется прежней.

При использовании в общем случае записи уравнения регрессии в форме со скрытым свободным членом

˜

X1 = X−1a˜−1 + e,

няя МНК и алгебраически возвращаясь к оценкам исходной формы уравнения.

Для представления ортогональной регрессии в общем случае подходят формулы (4.34, 4.36) и другие матричные выражения, приведенные выше при описании ортогональной регрессии. Необходимо только при определении векторов и матриц, входящих в эти выражения, заменить «2» на «n».

С помощью преобразований в пространстве переменных перед использованием ортогональной регрессии и последующего возвращения в исходное пространство

в качестве оценок a−1 можно получить любой вектор из множества (симплекса)

Это — подмножество всех возможных МНК-оценок истинных параметров α−1 .

4.3. Дисперсионный анализ

Дисперсионный анализ заключается в представлении (разложении) дисперсии изучаемых признаков по факторам и использовании F -критерия для сопоставления факторных «частей» общей дисперсии с целью определения степени влияния факторов на изучаемые признаки. Примеры использования дисперсионного анализа даны в предыдущем пункте при рассмотрении общей дисперсии моделируемой переменной как суммы объясненной и остаточной дисперсии.

Дисперсионный анализ может быть одномерным или многомерным. В первом случае имеется только один изучаемый (моделируемый) признак, во втором случае их несколько. В данном курсе рассматривается только первый случай. Применение методов этого анализа основывается на определенной группировке исходной совокупности (см. п. 1.9). В качестве факторных выступают группирующие признаки. То есть изучается влияние группирующих признаков на моделируемый. Если группирующий (факторный) признак один, то речь идет об однофакторном дисперсионном анализе, если этих признаков несколько — о многофакторном анализе. Если в группировке для каждого сочетания уровней факторов имеется строго одно наблюдение (численность всех конечных групп в точности равна единице), говорят о дисперсионном анализе без повторений; если конечные группы могут иметь любые численности — с повторениями. Многофакторный дисперсионный анализ может быть полным или частичным. В первом случае исследуется влияние всех возможных сочетаний факторов (смысл этой фразы станет понятным ниже). Во втором случае принимаются во внимание лишь некоторые сочетания факторов.

В этом пункте рассматриваются две модели: однофакторный дисперсионный анализ с повторениями и полный многофакторный анализ без повторений.

Пусть исходная совокупность xi, i = 1, . . . , N сгруппирована по одному фактору, т.е. она разделена на k групп:

xill — значение изучаемого признака в il -м наблюдении (il = 1, . . . , Nl ) в l-й группе (l = 1, . . . , k); Nl = N .

Рассчитываются общая средняя и средние по группам:

общая дисперсия, дисперсии по группам и межгрупповая дисперсия (s2q ):

Общую дисперсию можно разложить на групповые и межгрупповую дисперсии:

Данное представление общей дисперсии изучаемого признака аналогично полученному в начале предыдущего пункта при рассмотрении регрессии, построенной по данным совместного эмпирического распределения признаков. В том случае «группами» выступали значения первого признака при тех или иных значениях второго признака. В данном случае (в терминах дисперсионного анализа)

s2e — внутригрупповая дисперсия; s2q — межгрупповая дисперсия.

162 Глава 4. Введение в анализ связей

Тот факт, что среднее слагаемое в вышеприведенном выражении равно нулю, означает линейную независимость внутригрупповой и межгрупповой дисперсий.

Чем выше межгрупповая дисперсия по сравнению с внутригрупповой, тем вероятнее, что группирующий (факторный) признак влияет на изучаемый признак. Степень возможного влияния оценивается с помощью F -статистики:

s2 (N − k) F c = q .

s2e (k − 1)

В случае если влияние отсутствует (нулевая гипотеза), эта статистика имеет распределение Fk−1,N −k (межгрупповая дисперсия имеет k − 1 степеней свободы, внутригрупповая — N − k), что объясняет указанный способ расчета F -статистики. Логика проверки нулевой гипотезы та же, что и в предыдущих случаях.

Рассмотрение модели однофакторного дисперсионного анализа с повторениями завершено.

Пусть теперь имеется группировка исходной совокупности xi , i = 1, . . . , N по n факторам; j-й фактор может принимать kj уровней, j = 1, . . . , n. Все численности конечных групп равны единице: NI = 1, для любого I . Такая совокупность может быть получена по результатам проведения управляемого эксперимента. В экономических исследованиях она может быть образована в расчетах по математической модели изучаемой переменной: для каждого сочетания уровней факторов проводится один расчет по модели.

В этом случае

n