20. Регрессия. Метод наименьших квадратов.

Регрессия - величина, выражающая зависимость среднего значения случайной величины у от значений случайной величины х.

Уравнение регрессии выражает среднюю величину одного признака как функцию другого.

Функция регрессии - это модель вида у = л», где у - зависимая переменная (результативный признак); х -независимая, или объясняющая, переменная (признак-фактор).

Линия регрессии - график функции у = f (x).

2 Типа взаимосвязей между х и у:

1)  может быть неизвестно, какая из двух переменных является независимой, а какая - зависимой, переменные равноправны, это взаимосвязь корреляционного типа;

2)  если х и у неравноправны и одна из них рассматривается как объясняющая (независимая) переменная, а другая - как зависимая, то это взаимосвязь регрессионного типа.

Виды регрессий:

1)  гиперболическая - регрессия равносторонней гиперболы: у = а + b / х + Е;

2)  линейная - регрессия, применяемая в статистике в виде четкой экономической интерпретации ее параметров: у = а+b*х+Е;

3)  логарифмически линейная - регрессия вида: In у = In а + b * In x + In E

4)  множественная - регрессия между переменными у и х₁ , х₂ ...x_m, т. е. модель вида: у = f(х₁ , х₂ ...x_m)+E, где у - зависимая переменная (результативный признак), х₁ , х₂ ...x_m - независимые, объясняющие переменные (признаки-факторы), Е- возмущение или стохастическая переменная, включающая влияние неучтенных факторов в модели;

5)  нелинейная - регрессия, нелинейная относительно включенных в анализ объясняющих переменных, но линейная по оцениваемым параметрам; или регрессия, нелинейная по оцениваемым параметрам.

6)  обратная - регрессия, приводимая к линейному виду, реализованная в стандартных пакетах прикладных программ вида: у = 1/a + b*х+Е;

7)  парная - регрессия между двумя переменными у и x, т. е, модель вида: у = f (x) + Е, где у -зависимая переменная (результативный признак), x – независимая, объясняющая переменная (признак - фактор), Е - возмущение, или стохастическая переменная, включающая влияние неучтенных факторов в модели.

Корреляция - величина, отражающая наличие связи между явлениями, процессами и характеризующими их показателями.

Корреляционная зависимость - определение зависимости средней величины одного признака от изменения значения другого признака.

Коэффициент корреляции величин х и у (r_xy) свидетельствует о наличии или отсутствии линейной связи между переменными:

где     (-1; 1). Если:   = -1, то наблюдается строгая отрицательная связь;   = 1, то наблюдается строгая положительная связь;   = 0, то линейная связь отсутствует.

 - ковариация, т. е. среднее произведение отклонений признаков от их средних квадратических отклонений.

Коэффициент корреляции может служить мерой зависимости случайных величин.

Корреляция для нелинейной регрессии:

 при R _[0;1].

Чем ближе R к 1, тем теснее связь рассматриваемых признаков.

2. Основные задачи и предпосылки применения корреляционно-регрессионного анализа

Формы проявления корреляционной связи между признаками:

1) причинная зависимость результативного признака от вариации факторного признака;

2) корреляционная связь между двумя следствиями общей причины. Здесь корреляцию нельзя интерпретировать как связь причины и следствия. Оба признака - следствие одной общей причины;

3) взаимосвязь признаков, каждый из которых и причина, и следствие. Каждый признак может выступать как в роли независимой переменной, так и в качестве зависимой переменной.

Задачи корреляционно-регрессионного анализа:

1) выбор спецификации модели, т. е. формулировки вида модели, исходя из соответствующей теории связи между переменными;

2) из всех факторов, влияющих на результативный признак, необходимо выделить наиболее существенно влияющие факторы;

3) парная регрессия достаточна, если имеется доминирующий фактор, который и используется в качестве объясняющей переменной. Поэтому необходимо знать, какие остальные факторы предполагаются неизменными, так как в дальнейшем анализе их придется учесть в модели и от простой регрессии перейти к множественной;

4) исследовать, как изменение одного признака меняет вариацию другого.

Предпосылки корреляционно-регрессионного анализа:

1) уравнение парной регрессии характеризует связь между двумя переменными, которая проявляется как некоторая закономерность лишь в среднем в целом по совокупности наблюдений;

2) в уравнении регрессии корреляционная связь признаков представляется в виде функциональной связи, выраженной соответствующей математической функцией;

3) случайная величина Е включает влияние неучтенных в модели факторов, случайных ошибок и особенностей измерения;

4) определенному значению признака-аргумента отвечает некоторое распределение признака функции.

Недостатки анализа:

1) невключение ряда объясняющих переменных:

a. целенаправленный отказ от других факторов;

b. невозможность определения, измерения определенных величин (психологические факторы);

c.  недостаточный профессионализм исследователя моделируемого;

2) агрегирование переменных (в результате агреги­рования теряется часть информации);

3) неправильное определение структуры модели;

4) использование временной информации (изменив временной интервал, можно получить другие результаты регрессии);

5) ошибки спецификации:

a. неправильный выбор той или иной математической функции;

b. недоучет в уравнении регрессии какого-либо существенного фактора, т. е. использование парной регрессии, вместо множественной);

6) ошибки выборки, так как исследователь чаще имеет дело с выборочными данными при установлении закономерной связи между признаками. Ошибки выборки возникают и в силу неоднородности данных в исходной статистической совокупности, что бывает при изучении экономических процессов;

7) ошибки измерения представляют наибольшую опасность. Если ошибки спецификации можно уменьшить, изменяя форму модели (вид математической формулы), а ошибки выборки - увеличивая объем исходных данных, то ошибки изме­рения сводят на нет все усилия по количественной оценке связи между признаками.