13.3 Линейная регрессия. Прямые линии среднеквадратичной регрессии.
Рассмотрим двумерную случайную величину (Х,У), где Х,У зависимые случайные величины, представим одну из величин как функцию другой. Ограничимся приближенным представлением величины У в виде линейной функцией от Х
Это можно сделать различными способами ( метод наименьших квадратов ).
называют
наилучшим приближением У
в смысле метода наименьших квадратов,
если
принимает наименьшее возможное
значение. Функция g(X)
называется среднеквадратичной
регрессией У
на Х. Имеет место следующая теорема:
линейная среднеквадратичная регрессия
У на Х имеет вид
,
Можно
убедиться, что коэффициент
.
При этих значениях коэффициентов
значение функции наименьшее. Прямая
(1) - прямая среднеквадратичной
регрессии У
на Х,
а коэффициент
-
коэффициент
регрессии У на Х. Прямая среднеквадратичной
регрессии Х на У имеет вид:
(2)
При
обе прямые регрессии совпадают. Из
(1) и (2) следует, что обе прямые
регрессии проходят через точку
которую называют центром совместного
распределения.
Лекция 14. Корреляционный анализ.
Линейная и нормальная корреляция.
Рассмотрим двумерную случайную величину (Х,Y), если обе функции регрессии YХ и ХY связанны линейной корреляционной зависимостью. Графики линейных функций регрессии–прямые линии, причем можно доказать, что они совпадают с прямыми среднеквадратичной регрессии.
Теорема. Если двумерная случайная величина (Х,Y) распределена нормально, то Х и Y связаны линейной корреляционной зависимостью.
Доказательство:
двумерная плотность вероятности
,
(1)
где
(2)
Плотность вероятности
составляющей Х:
. (3)
Найдем функцию
регрессии
,
для чего найдем сначала условный закон
распределения величины Y,
при Х=х.
.
Подставив соотношения
(1) и (3) в правую часть этой формулы и
упростим это выражение, имеем:
.
Заменив U
и V
по формулам (2), окончательно получим:
.
Полученное условное
распределение нормально с мат. ожиданием
(функцией регрессии):
и дисперсией
.
Аналогично можно
получить функцию регрессии
:
Так как обе функции линейны, то корреляция между величинами х и y– линейная, что и требовалось доказать. Отсюда делаем вывод, что уравнение прямых регрессии:
совпадают с кривыми среднеквадратичных.
Оценка корреляции и регрессионной характеристики по выборке.
Для случайного вектора (X,Y) выборка, объема n дает n пар значений признака:
.
В этом случае говорят о связной выборке,
в противоположность независимым
выборкам, где совершенно независимо
друг от друга наблюдается
значений х и
значений
y.
Для прямых регрессии могут быть даны оценки. Другими словами: теоретически характеристики регрессии могут быть оценены по выборке.
По функциям выборки получаются следующие характеристики (оценки).
Для ковариации
(корреляционного момента) получают в
качестве оценки эмпирическую ковариацию.
.
Отсюда получают
оценки для теоретической корреляции и
регрессионных характеристик. Например,
эмпирический коэффициент корреляции
имеет вид:
Аналогично получим эмпирические коэффициенты регрессии:
Эмпирические прямые регрессии будут иметь вид:
.
При приблизительно коррелированных Х и Y можно сделать наилучшие предсказания для у при данном значении х или наилучшее предсказание для х при данном значении у.
Вопрос о том, имеется ли приблизительно линейная корреляция между х и у, только в редких случаях может быть решен теоретически. Это удается, если известно, что х и у распределены нормально, тогда линии регрессии являются прямыми, т.е. имеется точная линейная корреляция.