4сем / Лекции _4_сем pdf / 13_14_Корр_и_регр_анализ

14. Основы регрессионного анализа

После обнаружения стохастических связей между изучаемыми переменными величинами исследователь приступает к математическому описанию интересующих его зависимостей. Для достижения этих целей необходимо решить следующие задачи:

1)подобрать класс функций, в котором целесообразно искать наилучшую (в определенном смысле) аппроксимацию искомой зависимости;

2)найти оценки для неизвестных значений параметров, входящих в уравнение искомой зависимости;

3)установить адекватность полученного уравнения искомой зависимости;

4)выявить наиболее информативные входные переменные (факторы). Совокупность перечисленных задач и составляет предмет регрессионно-

го анализа.

14.1. Условные средние. Выборочные уравнения регрессии

При рассмотрении многомерных случайных величин (лекция 6) рассматривались условные законы распределения и их числовые характеристики: математическое ожидание, дисперсия и различные моменты. Оценками этих величин служат их выборочные аналоги. Наиболее важными являются условные математические ожидания, вычисленные по выборке – условные средние.

ОУсловное среднее yx – среднее арифметическое значений случайной величины Y , наблюдавшихся при фиксированном значении с.в. X = x . Аналогично определяется условное среднее x y .

ОУсловное среднее x y – среднее арифметическое значений случайной величины X , наблюдавшихся при фиксированном значении с.в. Y = y .

Напомним определение уравнения регрессии:

M (Y x)= f (x),

условное математическое ожидание M (Y x) является функцией x . Эта функция f (x) называется функцией регрессии Y на X , а ее график –

линией регрессии.

Выборочный аналог этого уравнения, yx = f * (x), называется выбороч-

ным уравнением регрессии Y на X , функция f * (x) – выборочной

функцией регрессии Y на X , ее график – выборочной линией регрессии Y на X .

Аналогично определяются выборочные характеристики и для регрессии X на Y .

близко расположенных точек либо пишут число nij возле одной точки. Постро-

енное таким образом в системе координат изображение корреляционной таблицы называют полем корреляции. Также возможно изображать данные таблицы

кругами, центр которых находится в точке (xi , y j ), а диаметр (или площадь)

пропорционален nij . Точка в системе координат (ХОY) с координатами (X B ,YB )

называется центром рассеивания.

Можно также составить условные законы распределения, например, Y при X = x j или Х при Y = yi .

Зная условные законы распределения, можно найти условные средние:

вальным вариационным рядом, то удобно перейти к вспомогательным переменным, значения которых совпадают с серединами интервалов.

Кроме того, если варианты (значения вариационного ряда) являются равноотстоящими, т.е., образуют арифметическую прогрессию с разностью h , бывает удобно перейти к условным вариантам:

ui = xi h−C ,

где C ложный нуль (новое начало отсчета), а h – шаг, т.е. разность между двумя соседними первоначальными вариантами (новая единица масштаба). Если в качестве ложного нуля взята какая-то из вариант xm , то условные вариан-

ты – целые числа, что упрощает вычисления. Действительно,

ui = x1 +(i −1)h −hx1 +(m −1)h = i −m .

Пример:

Дана корреляционная таблица. Построить поле корреляции, найти центр рассеивания, построить выборочные линии регрессии.

От интервальных рядов для переменных перейдем к обычным, а затем к условным вариантам, приняв за ложные нули Cx =15 , Cy =11 , шаги hx = hy = 2 .

Новые и старые переменные связаны зависимостями:

Для новых переменных корреляционная таблица принимает вид:

Как видно, координаты центра рассеяния незначительно отличаются от начала координат (в переменных X ′ , Y ′).

На рисунке справа показано корреляционное поле. Площади кругов пропорциональны соответствующим частотам nij появления пары значений

(xi , y j ). Визуальное впечатление говорит, что величины взаимозависимы.

Построим выборочные линии регрессии, для чего вычислим условные средние. Для этого модифицируем корреляционную таблицу, дополнив ее условными средними:

X y =y j . Как видно, обе зависимости близки к

линейным, что позволяет ограничиться линейными уравнениями регрессии.

14.3. Линейная регрессия.

Выборочный коэффициент корреляции

Линейная регрессия заслуживает внимания по нескольким причинам:

1.Для двумерной случайной величины (Х,Y), распределенной по нормальному закону, регрессии составляющих линейны.

2.Нелинейную регрессию при определенных условиях можно аппроксимировать кусочно - линейной.

3.Нелинейную зависимость путем замены переменной можно свести к линейной.

Так как объем выборки конечен, то о линии регрессии можно судить лишь

по форме опытной линии регрессии. Задача о нахождении теоретической линии регрессии сводится к выравниванию статистических распределений, например, методом наименьших квадратов.

Как было показано ранее (лекция 6), прямые среднеквадратической линейной регрессии задаются уравнениями:

y= my + r σy (x −mx )

σx

–прямая среднеквадратической регрессии Y на X ,

x= mx + r σx (y −my )

σy

–прямая среднеквадратической регрессии X на Y .

Здесь mx , my – средние значения, σx , σy – среднеквадратические отклоне-

ния, r – коэффициент корреляции. Поскольку мы имеем только данные выборки, эти величины должны быть вычислены по выборке.

Для данных предыдущего примера:

выборочные средние:

mx = X ′B = − 401 , my =Y ′B = 401 ;

Окончательно уравнения теоретических прямых среднеквадратической линейной регрессии принимают вид:

y = −0,756x + 0,006 – регрессия Y на X , x = −0,723y − 0,007 –регрессия X на Y .

На рисунке показаны выборочные линии регрессии и теоретические прямые среднеквадратичной регрессии (сплошные – регрессии Y на X , штриховые – регрессии X на Y ).