4. Доверительный интервал для индивидуальных значений у при заданном значении х.

Доверительный интервал, учитывающий неопределенность, связанную с положением тренда, и возможность отклонения от этого тренда, определяется в виде:

где: n - длина временного ряда;

L - период упреждения;

Fn+L - точечный прогноз на момент n + L;

ta - значение t-статистики Стьюдента;

Sp - средняя квадратическая ошибка прогноза.

Ширина доверительного интервала зависит от уровня значимости, периода упреждения, среднего квадратического отклонения от тренда и степени полинома.

Чем выше степень полинома, тем шире доверительный интервал при одном и том же значении Sy, так как дисперсия уравнения тренда вычисляется как взвешенная сумма дисперсий соответствующих параметров уравнения.

5. Множественная линейная регрессия. Основные предпосылки модели множественной линейной регрессии.

Задачей множественной линейной регрессии является построение линейной модели связи между набором непрерывных предикторов и непрерывной зависимой переменной. Регрессионное уравнение:

     (1)

Здесь аi - регрессионные коэффициенты, b0 - свободный член(если он используется), е - член, содержащий ошибку - по поводу него делаются различные предположения, которые, однако, чаще сводятся к нормальности распределения с нулевым вектором мат. ожидания и корреляционной матрицей  .

6. Расчет коэффициентов множественной линейной регрессии методом наименьших квадратов (мнк).

Метод наименьших квадратов (МНК) - метод оценивания параметров линейной регрессии, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от искомой линейной функции.

где уi- статические значения зависимой переменной; f (х) - теоретические значения зависимой переменной, рассчитанные с помощью уравнения регрессии.

Параметр b показывает среднее изменение результата у с изменением фактора х на единицу. Параметр а = у, когда х = 0. Если х не может быть равен 0, то а не имеет экономического смысла. Интерпретировать можно только знак при а: если а > 0. то относительное изменение результата происходит медленнее, чем изменение фактора, т. е. вариация результата меньше вариации фактора: V < V. и наоборот.

То есть МНК заключается в том, чтобы определить а и а, так, чтобы сумма квадратов разностей фак­тических у и у. вычисленных по этим значениям a0 и а1 была минимальной:

Рассматривая эту сумму как функцию a0 и a1 дифференцируем ее по этим параметрам и приравниваем производные к нулю, получаем следующие равенства:

n - число единиц совокупности (заданны параметров значений x и у). Это система «нормальных» уравнений МНК для линейной функции (yx)

7. Стандартные ошибки коэффициентов в модели множественной линейной регрессии. Стандартная ошибка регрессии.

8. Интервальные оценки теоретического уравнения линейной регрессии.

9. Проверка статистической значимости коэффициентов уравнения линейной регрессии.

10. Проверка общего качества уравнения линейной регрессии. Коэффициент детерминации. Исправленный коэффициент детерминации.

Для анализа общего качества оцененной линейной регрессии используют обычно коэффициент детерминации R². Для случая парной регрессии это квадрат коэффициента корреляции переменных х и y. Коэффициент детерминации рассчитывается по формуле

.

Коэффициент детерминации характеризует долю вариации (разброса) зависимой переменной, объясненной с помощью данного уравнения .В качестве меры разброса зависимой переменной обычно используется ее дисперсия, а остаточная вариация может быть измерена как дисперсия отклонений вокруг линии регрессии. Если числитель и знаменатель вычитаемой из единицы дроби разделить на число наблюдений п, то получим, соответственно, выборочные оценки остаточной дисперсии и дисперсии зависимой переменной у. Отношение остаточной и общей дисперсий представляет собой долю необъясненной дисперсии. Если же эту долю вычесть из единицы, то получим долю дисперсии зависимой переменной, объясненной с помощью регрессии. Иногда при расчете коэффициента детерминации для получе­ния несмещенных оценок дисперсии в числителе и знаменателе вычитаемой из единицы дроби делается поправка на число степеней свободы; тогда

.

или, для парной регрессии, где число независимых переменных травно 1,

В числителе дроби, которая вычитается из единицы, стоит сумма квадратов отклонений наблюдений у_i от линии регрессии, в знаменателе - от среднего значения переменной у. Таким образом, дробь эта мала (а коэффициент R², очевидно, близок к единице), если разброс точек вокруг линии регрессии значительно меньше, чем вокруг среднего значения. МНК позволяет найти прямую, для ко­торой суммае_i²минимальна, а представляет собой одну из возможных линий, для которых выполняется условие .Поэтому величина в числителе вычитаемой из единицы дроби меньше, чем величина в ее знаменателе, - иначе выбиремой по МНК линией регрессии была бы прямая. Таким образом, коэффициент детерминацииR²является мерой, позволяющей определить, в какой степени найденная регрессионная прямая дает лучший результат для объяснения поведения зависимой переменной у, чем просто горизонтальная прямая.

Скорректированный коэффициент детерминации позволяет учесть при оценке качества модели соотношение количества наблюдений и количества оцениваемых параметров модели.

где   – коэффициент детерминации, n – общее число наблюдений, k – число объясняющих переменных (число параметров модели регрессии без учета свободного члена).

Скорректированный коэффициент детерминации применяется для решения двух типов задач:

– оценка тесноты связи между объясняемой и объясняющей переменной. Необходимо обратить внимание на близость к нескорректированному коэффициенту детерминации. Модель считается качественной, если показатели велики и несильно отличаются друг от друга.

– сравнение моделей с различным числом параметров. При прочих равных условиях, предпочтение отдается той модели, у которой скорректированный коэффициент детерминации больше.

11. Проверка гипотезы о совпадении уравнений регрессии для двух выборок. Тест Чоу.

Одним из распростран. тестов проверки данной гипотезы явл-ся тест Чоу, суть кот. состоит в след.

Пусть имеются две выборки объемами   .Для кажд. из этих выборок оценено урав-е регр-ии вида:

Провер-ся нулевая гипотеза о рав-ве др. другу соотв. коэф-ов регр-ии: 

Пусть суммы  (k = 1, 2) квадратов отклонений знач-ий  от линий регр-ии равны   соотв-но для 1-ого и 2-ого урав-ий регр-ии.

Пусть по объединенной выборке объема  оценено еще одно урав-е регр-ии, для кот. сумма квадратов отклонений от урав-я регр-ии равна  .

Для проверки Н₀ в этом случае строится след. F-статистика:

В случае справедливости Н₀ построенная F-статистика имеет распред-ие Фишера с числами степеней свободы  .

Очевидно, F-статистика близка к нулю, если   и это фактически означает, что уравнения регрессии для обеих выборок практически одинаковы. В этом случае F < Fкp. Если же F > Fкp., то нулевая гипотеза отклоняется.

12. Гетероскедастичность, ее последствия. Тест ранговой корреляции Спирмена.

Одной из предпосылок МНК является условие постоянства дисперсий случайных отклонений (гомоскедастичностъ). Не должно быть априорной причины, вызывающей большую ошибку (отклонение) при одних наблюдениях и меньшую – при других. Невыполнимость данной предпосылки принято называть гетероскедастичностыо.

При гетероскедастичности последствия применения МНК будут следующими:

1. Оценки коэффициентов по-прежнему останутся несмещенными и линейными.

2. Оценки не будут эффективными (не будут иметь наименьшую дисперсию по сравнению с другими оценками данного параметра). Увеличение дисперсии оценок снижает вероятность получения максимально точных оценок.

3. Дисперсии оценок будут рассчитываться со смещением.

4. Вследствие вышесказанного все выводы, получаемые на основе соответствующих t- и Г-статистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы, получаемые при стандартных проверках качества оценок, могут быть ошибочными и приводить к неверным заключениям по построенной модели. Вполне вероятно, что стандартные ошибки коэффициентов будут занижены, следовательно, t-статистики будут завышены. Это может привести к признанию статистически значимыми коэффициентов, таковыми на самом деле не являющихся.

Тест Спирмена.

При использовании данного теста предполагается, что дисперсия отклонения будет либо увеличиваться, либо уменьшаться с увеличением значений X. Поэтому для регрессии, построенной по МНК, абсолютные величины отклоненийε_iи значения х_iбудут коррелированны.

Значения х_iиε_i ранжируются (упорядочиваются по величинам). Затем определяется коэффициент ранговой корреляции:

где d_i— разность между рангами х_iиε_i,i= 1, 2, ...,п;

п— число наблюдений.

Например, если х₂₀является 15 по величине среди всех наблюдений, аε₂₀ – 21, то d₂₀ = 15-21= - 6.

Если коэффициент корреляции  для генеральной совокупности равен нулю, то статистика

имеет распределение Стьюдента с числом степеней свободы v=n-2. Следовательно, если наблюдаемое значениеt-статистики превышает табличное, то необходимо отклонить гипотезу о равенстве нулю коэффициента корреляции , а, следовательно, и об отсутствии гетероскедастичности.

Если в модели регрессии больше чем одна объясняющая переменная, то проверка гипотезы может осуществляться с помощью t-статистики для каждой из них отдельно.

13. Тест Голдфелда-Квандта.

В основе теста Голдфелда-Квандта обнаружения гетероскедастичности остатков модели регрессии лежит предположение о нормальном законе распределения случайной ошибки _i модели регрессии.

Тест Голдфелда-Квандта проводится в несколько этапов.

1. Предположим, что на основе выборочных данных была построена линейная модель множественной регрессии:

у_i = b₀ + b₁x_1i + b₂x_2i + b₃x_3i + e_i

где у_i - результативная переменная, i = 1,2…, n;

x_mi - факторные переменные (m = 1, 2, 3; i=1,2…, n);

b₀, b₁, b₂, b₃ - неизвестные коэффициенты модели регрессии;

e_i - случайная ошибка модели регрессии.

2. В модели множественной регрессии выбирается факторная переменная x_mi (m = 1, 2, 3; i=1,2…, n), от которой могут зависеть остатки модели е_i. Значения переменной x_mi ранжируются, располагаются по возрастанию и делятся на три части.

3. Для первой и третьей частей строятся две независимые модели регрессии:

у_i¹ = b₀¹ + b₁¹x_1i + b₂¹x_2i + b₃¹ x_3i , где i = 1,…,n’;

у_i³ = b₀³ + b₁³x_1i + b₂³x_2i + b₃³ x_3i где i = n’+1,…,n

4. По каждой из построенных моделей регрессий рассчитываются суммы квадратов остатков:

5. Осуществляется проверка основной гипотезы об отсутствии гетероскедастичности в основной модели множественной регрессии через F-критерий Фишера.

Критическое значение F-критерия, определяемое по таблице распределения Фишера-Снедекора

F_крит(α; k₁; k₂),

где α - уровень значимости; k₁ = n’- к и k₂ = n’- к - степени свободы; к - количество оцениваемых коэффициентов в основной модели регрессии,.

Наблюдаемое значение F-критерия:

если ESS³ > ESS¹;

или

если ESS¹ > ESS³;

Если F_набл > F_крит, то основная гипотеза отклоняется, и в основной модели регрессии присутствует гетероскедастичность, зависящая от факторной переменной x_mi.

Если F_набл ≤ F_крит, то основная гипотеза принимается, и гетерскедастичность в основной модели регрессии не зависит от факторной переменной x_mi.

14. Критерий Дарбина-Уотсона.

Существует несколько приемов обнаружения автокорреляции. Наиболее распространенным является подход, опирающийся на критерий Дарбина-Уотсона. Тест Дарбина-Уотсона связан с проверкой гипотезы об отсутствии автокорреляции первого порядка, т.е. автокорреляции между соседними остаточными членами ряда. При этом критическая статистика определяется по формуле:

(4.13)

Можно показать, что величина d приближенно равна:

(4.14)

где r₁ — коэффициент автокорреляции первого порядка (т.е. парный коэффициент корреляции между двумя последовательностями остатков e₁, e₂, ... ,e_n–1 и e₂, e₃, ... , e_n).

Из (4.14) видно, что близость значения статистики d к нулю означает наличие высокой положительной автокорреляции (коэффициент r₁ близок к единице); близость значения статистики d к четырем означает наличие высокой отрицательной автокорреляции (коэффициент r₁ близок к минус единице). Естественно, в случае отсутствия автокорреляции значение статистики d будет близким к двум (коэффициент r₁ не сильно отличается от нуля).

Применение на практике критерия Дарбина-Уотсона основано на сравнении расчетного значения статистики d с пороговыми, граничными значениями d₁ и d₂ .

Граничные значения d₁ и d₂ , зависящие от числа наблюдений n, количества объясняющих переменных в модели, уровня значимости, находятся по таблицам (авторами критерия составлены таблицы для α= 0,05, α= 0,025 и α= 0,01). Фрагмент таблицы Дарбина-Уотсона с критическими значениями d₁ и d₂ при 5% уровне значимости представлен ниже (см. табл. 14).

Алгоритм выявления автокорреляции остатков на основе критерия Дарбина-Уотсона следующий.

Выдвигается гипотеза H₀ об отсутствии автокорреляции остатков. Пусть альтернативная гипотеза состоит в наличии в остатках положительной автокорреляции первого порядка.

Тогда при сравнении расчетного значения статистики d (d < 2) с d₁ и d₂ возможны следующие варианты.

1) Если d < d₁ , то гипотеза H₀ об отсутствии автокорреляции отвергается (с вероятностью ошибки, равной α) в пользу гипотезы о положительной автокорреляции.

2) Если d > d₂ , то гипотеза H₀ не отвергается.

3) Если d₁ ≤d ≤d₂ , то нельзя сделать определенный вывод по имеющимся исходным данным (значение d попало в область неопределенности).

Если альтернативной является гипотеза о наличии в остатках отрицательной автокорреляции первого порядка, то с пороговыми, граничными значениями d₁ и d₂ сравнивается величина 4 −d (при d >2).

При этом возможны следующие варианты.

1) Если 4 −d < d₁ , то гипотеза H₀ об отсутствии автокорреляции отвергается (с вероятностью ошибки, равной α в пользу гипотезы об отрицательной автокорреляции.

2) Если 4 −d > d₂ , то гипотеза H₀ не отвергается.

3) Если d₁ ≤4 −d ≤d₂ , то нельзя сделать определенный вывод по имеющимся исходным данным.

Данный критерий нельзя использовать, если среди объясняющих переменных содержатся лагированные значения результативного показателя (например, он не применим к моделям авторегрессии).

Таким образом, можно считать, что в случае отсутствия автокорреляции в остатках расчетное значение статистики (4.13) «не слишком отличается» от 2.