2.2. Линейная регрессия

Пусть задана система случайных величин Х и Y и случайные величины Х и Y зависимы.

Представим одну из случайных величин как линейную функцию другой случайной величины Х:

Y= g(x) =  + x,

где ,  - параметры, которые подлежат определению.

Эти параметры могут быть определены различными способами, наиболее часто используется метод наименьших квадратов (МНК).

Функцию g(x) называют наилучшим приближением в смысле МНК, если математическое ожидание М[Y-g(x)]² принимает возможное наименьшее значение.

В этом случае функцию g(x) называют средней квадратической регрессией Y на X.

Рассмотрим определение параметров выбранного уравнения прямой линии средней квадратической регрессии по не сгруппированным данным. Пусть изучается система количественных признаков (Х ,Y), т.е. ведутся наблюдения за случайной двухмерной величиной (Х , Y). Пусть в результате n наблюдений получено n пар чисел (х₁,у₁), (х₂, у₂), …, (х_n, y_n).

Требуется по полученным данным найти выборочное уравнение прямой линии средней квадратической регрессии:

Поскольку данные несгруппированные, т.е. каждая пара чисел встречается один раз, то можно перейти от условной средней к переменной у. Угловой коэффициент k обозначим через k = p и назовем ее выборочной оценкой коэффициента регрессии .

Итак, требуется найти:

Метод наименьших квадратов (МНК) получили систему двух линейных уравнений относительно p и b. Решая эту систему, получим:

;

.

2.3. Основные понятия корреляционно-регрессионного анализа

1. Среднее значение переменной определяется по следующей формуле:

где х₁ – эмпирическое значение переменной х; n – число наблюдений.

Дисперсия

2. Коэффициент корреляции

Коэффициент корреляции характеризует тесноту или силу связи между переменными у и х. Значения, переменные r_ху, заключены в пределах от –1 до +1. При положительном значении r_ху имеет место положительная корреляция, т.е. с увеличением (уменьшением) значений одной переменной (х) значение другой (у) соответственно увеличивается (уменьшается). При отрицательном значении r_ху имеет место отрицательная корреляция, т.е. с увеличением (уменьшением) значений х значения у соответственно уменьшаются (увеличиваются). При изучении экономического явления, зависящего от многих факторов, строится множественная регрессионная зависимость. В этом случае для характеристики тесноты связи используются коэффициент множественной корреляции:

где ²_ост – остаточная дисперсия зависимой переменной;

²_общ – общая дисперсия зависимой переменной.

3. Общая дисперсия определяется по формуле:

Величина ²_общ характеризует разброс наблюдений фактических значений от среднего значения .

Остаточная дисперсия определяется по следующей формуле:

где у_iт – теоретические значения переменной у, полученные по уравнению регрессии при подстановке в него наблюдаемых фактических значений х_i.

Остаточная дисперсия характеризует ту часть рассеяния переменной у, которая возникает из-за всякого рода случайностей и влияния неучтенных факторов.

4. Коэффициент детерминации служит для оценки точности регрессии, т.е. соответствие полученного уравнения регрессии имеющимся эмпирическим данным, и вычисляется по формуле

Изменяется Д в пределах от 0 до 1, т.е.

0  Д  1

Модель считается тем точнее, чем ближе Д к 1, т.е. чем меньше ²_ост.

Стандартная ошибка оценки равна .

Если Д=0, это значит отношение , т.е. ²_ост = ²_общ, и, следовательно, . В этом случае прямая регрессии будет параллельна оси X, корреляционно-регрессионная связь между X и Y отсутствует. Если

Д = 1 , значит, , т.е. ²_ост = 0. Отсюда у_i = y_iT т. е наблюдаемые точки лежат на построенной прямой, следовательно, зависимость функциональная.

8. Корреляционное отношение используется для оценки тесно­ты связи между двумя явлениями, в частности для определения тесноты связи исходного ряда у_i, с теоретическим рядом y_iT . Корре­ляционное отношение определяют по данным, сгруппированным по объясняющей переменной по следующей формуле: