1.1.1.Основные понятия регрессионного анализа

Термин "регрессия" (лат. - "regression" - отступление, возврат к чему-либо) введен английским психологом и антропологом Ф.Гальтпном и связан только со спецификой одного из первых конкретных примеров, в котором это понятие было использовано.

Обрабатывая статистические данные в связи с вопросом о наследственности роста, Ф.Гальтон нашел, что если отцы отклоняются от среднего роста всех отцов на x дюймов, то их сыновья отклоняются от среднего роста всех сыновей меньше, чем на x дюймов. Выявленная тенденция была названа «регрессией к среднему состоянию».

Рассмотрим основные понятия регрессионного анализа

1.Результирующая (зависимая, эндогенная) переменная у, которая выступает в роли функции, значения которой определяются значениями аргументов. Переменная у всегда случайна.

2. Объясняющие (предиктивные, экзогенные) переменные Х =(х₁, х₂,…,х_p)^T, которые поддаются регистрации, описывают условия функционирования изучаемой реальной экономической системы и в существенной мере определяющие процесс формирования значений результирующих признаков.

3. Функция регрессии у по Х =(х₁, х₂,…,х_p)^T , математически записывается в виде

f(X*)=E(y|X=X*) или f(X)=E(y|X)

4. Уравнение регрессионной связи.

Математически записывается в виде.

5. Измеритель степени тесноты статической связи между у и Х

Универсальной характеристикой степени тесноты статической связи между у и Х является коэффициент детерминации К(у, Х), который совпадает с квадратом множественного коэффициента корреляции R^2y.X при исследовании линейных моделей.

6. Исходные статистические данные, математически записывается в виде

X=

матрица размера n*(p+1),составленная из наблюдаемых значений объясняющих переменных, и Y=(y₁,y₂,…,y_n)^T, матрица размером n*1

1.1.2. Линейная однофакторная регрессия

Определение. Частный случай однофакторного регрессионного уравнения линейная модель зависимости, которая записывается в виде:

Наличие случайной компоненты _i обусловлено:

1. Модель упрощенная и на самом деле есть другие факторы влияющие на y_i

2. Возможно наличие ошибок измерений.

1.1.3. Матричная запись линейной регрессии

В матричной форме уравнение линейной регрессии может быть записано так:

Y=X*b+ ,

где

Y - случайный вектор - столбец размерностью n*1 значимой зависимой переменной (n – кол-во наблюдений в выборке);

X (х₀, х₁) – матрица размерностью n*2 независимой переменной, где х₀ – дополнительный фактор, связанный с наличием в уравнении свободного члена b₀ (обычно его значение принимают равное 1);

b – вектор-столбец размерностью 2*1 неизвестных подлежащих оценке коэффициентов регрессии.

- случайный вектор-столбец разностью n*1 ошибок наблюдений.

,

1.1.4 Оценки параметров регрессии

Для статистической проверки взаимосвязи между зависимой и независимой переменной необходимо найти значения а, в, Е_i т.е найти оценку .

Классический подход оцененного параметра линейной регрессии – Метод наименьших квадратов (МНК). Он называется так потому, что при расчете параметров прямой линии, который наиболее соответствует фактическим данным, минимизирует Е квадратов расхождений между расчётными значениями и фактическим значением у.

y_i – фактическое значение;

- расчетное значение.

Необходимо оценить неизвестные коэффициенты модели регрессии β0…βn. Для определения оптимальных коэффициентов модели регрессии возможно применение следующих критериев:

1) критерий суммы квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):

Данный критерий определения оптимальных коэффициентов модели регрессии получил название метода наименьших квадратов или МНК. К основным преимуществам данного метода относятся:

а) все расчёты сводятся к механической процедуре нахождения коэффициентов;

б) доступность полученных математических выводов.

Недостаток метода наименьших квадратов заключается в излишней чувствительности оценок к резким выбросам, встречающимся в исходных данных.

2) критерий суммы модулей отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):

Главное преимущество данного критерия заключается в устойчивости полученных оценок к резким выбросам в исходных данных, в отличие от метода наименьших квадратов.

К недостаткам данного критерия относятся:

а) сложности, возникающие в процессе вычислений;

б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;

в) разным значениям оцениваемых коэффициентов β0…βn могут соответствовать одинаковые суммы модулей отклонений.

3) критерий, имеющий вид:

где g – это мера или вес, с которой отклонение (yi-f|xi,β|) входит в функционал F. В качестве примера веса g можно привести функцию Хубера, которая при малых значениях переменной х является квадратичной, а при больших значениях х – линейной:

где с – ограничения функции.

Данный критерий определения наилучших оценок коэффициентов модели регрессии β0…βn является попыткой объединения достоинств двух предыдущих критериев. Основное преимущество данного критерия заключается в том, что оценки неизвестных коэффициентов, найденные с его помощью, являются более устойчивыми к случайным выбросам в исходных данных, чем оценки, полученные методом наименьших квадратов.