4. Выборочная функция регрессии

Обратимся к корреляционной таблице (Таблица 2). Каждому варианту признака (СВ) X можно поставить в соответствие среднее арифметическое соответствующих ему (входящих с ним в пару) значений признака Y, т.е.

(19)

Для всех можно найти соответствующее им .

Величина есть не что иное, как условное выборочное среднее – статистический аналог условного математического ожидания, т.е.:

(20)

Таким образом может быть задана выборочная функция регрессии Y на x.

(21)

При этом функция оказывается заданной в табличной форме:

Таблица 3

X			…		…
			…		…

Располагая Табл. 3 значений выборочной функции регрессии Y на x, с учетом (19), можно упростить расчетную формулу (15) для вычисления – выборочного корреляционного момента:

, т.е.

(15.1)

Выборочная функция регрессии X на y может быть найдена аналогично, т.е.:

(22)

Таблица 4

Y			…		…
			…		…

где - условное выборочное среднее, вычисляемое по формуле:

(23)

Если для функций и , заданных в табличной форме ( см. Таблицы 3 и 4) подобрать аналитические выражения, т.е. решить задачу аппроксимации, то получим новые функции:

(24)

которые являются оценками функций регрессии и .

Будем называть функции и (в отличие от и ) - эмпирическими функциями регрессии Y на x и X на y – соответственно.

Для линейной регрессии вид функций и показан на Рисунке 1.

Рис. 1

4. Метод наименьших квадратов

Сущность метода наименьших квадратов состоит в выборе линии регрессии таким образом, чтобы сумма квадратов отклонений выборочных значений от аппроксимирующей функции была наименьшей (рис.2).

у = f(x) = ax+ b

Рис. 2

Для линейной регрессии задача сводится к нахождению минимума функции

(25)

Используя корреляционную таблицу, выражение (25) можно переписать в виде:

(26)

Надо подобрать a и b таким образом, чтобы сумма S(a,b) имела наименьшее значение, т.е. a и b должны удовлетворять системе уравнений:

(27)

Дифференцируя (26) по a и b, систему (27) перепишем:

(28)

После упрощения система (28) примет вид:

(29)

Систему линейных алгебраических уравнений (29) иногда называют нормальной. Решая (29) относительно a и b, найдем эмпирическую функцию регрессии Y на x, то есть

(30)

Аналогично можно получить эмпирическую функцию регрессии X на y:

(31)

4. Составление уравнения регрессии путем вычисления коэффициента регрессии.

Для системы линейных алгебраических уравнений (29) найдено решение в общем виде, а именно:

(32)

С учетом (32) уравнение регрессии Yна x может быть записано в виде:

(33)

Аналогично, для регрессии X на y можно получить:

(34)

Число (35)

Называют коэффициентом регрессии Y на x.

Число (36)

-коэффициент регрессии X на y.

Таким образом, нахождение эмпирической функции регрессии может быть сведено к вычислению коэффициентов регрессии и .