Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Скачиваний:
5
Добавлен:
19.01.2025
Размер:
475 Кб
Скачать
☆

виде

Y = f (X) + ε,

где ε — случайная переменная, характеризующая отклонение от модельной функции регрессии. Эту переменную будем называть возмущающей, или просто возмущением. Таким образом, в регрессионной модели зависимая переменная Y есть некоторая функция f (X) с точностью до случайного возмущения ε, причем детерминированная составляющая f (X) выражает влияние существенных факторов на результирующий показатель и описывает поведение условного среднего, а случайная составляющая отражает суммарное влияние всех несущественных факторов.

Мы будем рассматривать линейный регрессионный анализ, в котором функция f (X) линейна относительно оцениваемых параметров. Предположим, что для оценки параметров модельной функции регрессии f (X) из двумерной совокупности (X, Y ) взята выборка объема n, где (xi, yi) — результат i-го наблюдения (i = 1, n). В этом случае регрессионная модель имеет вид

yi = f (xi) + εi.

Отметим основные предпосылки регрессионного анализа:

1.Зависимая переменная yi (или возмущение εi) есть величина случайная, а объясняющая переменная xi есть величина неслучайная.

2.Математическое ожидание возмущения εi равно нулю:

M εi = 0.

3.Дисперсия зависимой переменной yi (или возмущения εi) постоянна для любого i:

Dεi = σε2;

4. Переменные yi и yj (или возмущения εi и εj ) не коррелированы:

M (εi · εj ) = 0.

33

5.Зависимая переменная yi (или возмущение εi) есть нормально распределенная случайная величина (это требование равносильно независимости переменных и необходимо для проверки значимости уравнения регрессии и его параметров, а также для их интервального оценивания).

Рассмотрим простейшую модель регрессионного анализа, когда функция f (x) линейна как по параметрам, так и по переменным xi

(i = 1, n):

yi = β0 + β1xi + εi.

Данная модель описывает случай парной регрессионной зависимости, когда на зависимую переменную Y воздействует одна независимая переменная X.

С помощью параметров β0 и β1 учитывается влияние на зависимую переменную Y объясняющей переменной X. Воздействие неучтенных факторов и случайных ошибок наблюдений определяется с помощью остаточной дисперсии σε2.

Оценкой линейной модели по выборке является уравнение регрессии yx = b0 + b1x. Параметры b0 и b1 определяются на основе метода наименьших квадратов. Содержательно параметры модели интерпретируются таким образом: параметр b0 является величиной, выравнивающей размерность переменных y и x, а параметр b1 показывает, на сколько изменится результирующий показатель y при изменении фактора x на единицу (рис. 2.1).

Рассмотрим технологию оценивания параметров двумерной регрессионной модели с помощью линейного метода наименьших квадратов (МНК).

Положим

n

Q = (yi − yi)2 → min .

i=1

Известно, что

yi = b0 + b1xi.

Тогда

n

Q = (yi − b0 − b1xi)2 → min

i=1

34

3, 73

y

14

13

12

11

10

9

8

7

6

5

4

3

2

1

0

 

 

 

 

 

7

 

 

5

 

x

 

 

 

 

 

53

 

 

 

 

,

 

 

 

0

 

8

 

 

+

 

6

 

 

73

 

 

 

,

 

 

 

 

3

 

 

 

 

 

=

 

 

 

 

3

y

 

 

 

 

 

 

 

 

 

4

1

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

α = 27◦55

 

 

 

 

 

 

 

 

 

 

b1 = tg α = 0, 53

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

1

2

3

4

5

6

7

8

9

10 11 12 13

Рис. 2.1. Графическая интерпретация параметров b0 и b1

Найдем экстремум данной функции относительно неизвестных b0 и b1, для чего определим частные производные Qb0 и Qb1 и приравняем их нулю:

n

Qb0 = − 2 (yi − b0 − b1xi) = 0.

i=1

n

Qb1 = − 2 ((yi − b0 − b1xi)xi) = 0.

i=1

Таким образом получим систему из двух линейных алгебраических уравнений относительно двух переменных b0 и b1, для решения которой удоб-

но воспользоваться правилом Крамера:

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

n

 

 

n

2

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

i=1 yi

= nb0 + b1 i=1 xi,

 

 

 

 

 

 

 

 

n

 

 

 

 

 

n

n

 

 

 

i

 

 

n

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xiyi

= b0

 

xi + b1

 

x .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=1

 

 

 

i=1

 

 

 

i=1

 

 

 

 

 

 

n

n

 

2

 

 

1

 

n

 

n

2

 

2

 

n

n

 

 

 

xi

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

xy

x

 

 

 

xy

θ =

 

n

i=1 xi

 

, θ =

 

i=1 y

i=1 x

 

, θ =

 

n

i=1 y

.

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

i=1

 

 

 

 

 

 

i=1

 

i=1

 

 

 

 

 

i=1

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

35

В результате применения правила Крамера получим выражения для искомых неизвестных b0 и b1:

 

 

 

 

 

 

n

 

 

 

 

 

 

n n

 

n

 

n

 

 

 

 

θ1

=

i=1 y i=1 x2

− i=1 x i=1 xy

b0 =

 

 

 

 

 

 

 

 

 

;

 

n

 

n

n

 

 

 

2

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

θ

 

n i=1 x2 − i=1 x

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

θ2

=

n i=1 xy

− i=1 x i=1 y

 

 

b1

=

 

 

 

 

 

 

 

.

 

θ

n i=1 x2

−

i=1 x

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

Множественная регрессия

Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной переменной Y от нескольких объясняющих переменных X1, X2, . . . , Xp. Эта задача решается с помощью множественного регрессионного анализа.

Модель множественной регрессии, включающая p объясняющих переменных x1, . . . , xp, имеет вид:

yi = β0 + β1xi1 + β2xi2 + . . . + βpxip + εi,

где εi удовлетворяет приведенным ранее предпосылкам.

Здесь i = 1, n — индекс наблюдения, j = 1, p — индекс фактора. Уравнение регрессии с оценками параметров можно записать как

yi = b0 + b1xi1 + b2xi2 + . . . + bpxip.

Для изложения некоторых моментов в множественном регрессионном анализе удобней использовать матричную форму записи.

36

y1y2

Пусть Y = — вектор значений зависимой переменной Y ,

. . . yn

X =

1 x11 x12

. . . x1p

 

—

. . .

. . . .

 

 

. . . x2p

 

 

 

1 x21 x22

 

 

 

 

 

 

 

 

 

 

 

 

 

1 xn1 xn2

. . . xnp

 

матрица значений объясняющих переменных размерности n×(p+1). Единичный столбец в матрице X соответствует столбцу свободных членов β0 в линейной модели, причем условно полагается, что β0 умножается на фиктивную переменную xi0, принимающую значение 1 для

всех i:

xi0 = 1 (i = 1, n),

β= (β0, β1, . . . , βp)T — вектор параметров,

ε= (ε0, ε1, . . . , εn)T — вектор возмущений.

Оценки параметров уравнения множественной регрессии b1, b2, . . . , bp так же, как в случае парной регрессии, проводится с использованием метода наименьших квадратов (далее — МНК), согласно которому в качестве оценки принимают вектор b, который минимизирует сумму квадратов отклонений наблюдаемых значений yi

от модельных значений yi,

т. е. квадратичную форму

T

 

 

 

n

 

2

 

 

 

 

 

i

(yi − yi) → min

Q = (Y − XB) (Y − XB) =

 

 

 

 

 

=1

 

 

или

 

 

 

 

 

 

n

 

 

 

 

 

 

 

i

 

 

 

 

+ . . . + bpxip))2 → min .

Q = (yi − (b0 + b1xi1

=1

 

 

 

 

 

 

 

Для определения минимума ищем решение системы

 

 

Qb

0

= 0,

 

 

 

 

 

b1

= 0,

 

 

 

 

 

Q

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

. . . ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Qbp

= 0

 

 

37

относительно

b = (XT X)−1XT Y.

Здесь Qw — частная производная Q по оценке t.

Оценки, полученные на основе применения этого метода, обладают рядом важных для дальнейшего анализа свойств:

—несмещенность (не содержат систематических ошибок при оценивании):

M βj = bj , j = 0, p;

—состоятельность (при n → ∞ с вероятностью, как угодно близкой к 1, сходятся к оцениваемым параметрам);

—эффективность (обладают наименьшими дисперсиями среди всех возможных несмещенных оценок параметров).

Построение модели множественной регрессии с четырьмя и более факторами возможно только с использованием компьютера. На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии bj и коэффициенты эластичности Эj (j = 1, p):

 

 

Sxj

 

 

 

 

 

 

b

 

 

xj

 

=

 

; Эj = bj

 

 

 

.

 

 

 

 

j

 

Sy

 

 

y

 

 

 

 

 

 

Стандартизованный коэффициент регрессии bj показывает, на сколько величин Sy изменится в среднем зависимая переменная Y при увеличении только j-ой объясняющей переменной на Sxj , а коэффициент эластичности Эj — на сколько процентов (от средней) изменится в среднем Y при увеличении только Xj на 1 %.

Нелинейная регрессия

Соотношения, существующие между социально-экономическими процессами, не всегда можно выразить линейными функциями, т. к. при этом могут возникать неоправданно большие ошибки. В некоторых

38

случаях нелинейность связей является следствием качественной неоднородности совокупности, к которой применяют регрессионный анализ. Например, если в одной совокупности объединены предприятия, отличающиеся по специализации, условиям функционирования и т. д.

В случае нелинейной зависимости параметры уравнения регрессии оцениваются также при помощи метода наименьших квадратов. Однако статистические свойства МНК-оценок сохраняются только для случая линейной зависимости. С позиции использования МНК различают следующие виды зависимостей:

1. функции, нелинейные по факторам, например:

y = a0 + a1x2 или y = a0 + a1 log x;

2. функции, нелинейные по параметрам, например:

y = ea0+a1x или y = aKαL1−α;

3.функции, не приводимые к линейному виду.

Впервом и втором случае МНК для оценки параметров модели используется после проведения линеаризующих преобразований, приводящих функцию к линейному виду. Для нахождения оценок параметров функций первого типа достаточно провести замену объясняющих переменных, например, если y = a0 + a1x2 , то достаточно ввести новую переменную x = x2 и, осуществив замену переменных, получить функцию линейного вида y = a0 + a1x , после чего можно использовать метод наименьших квадратов.

К уравнениям второго вида вначале требуется применить линеаризующее преобразование, а затем уже заменить переменные. Например, если y = ea0+a1x, то линеаризующее преобразование состоит в логарифмировании ln y = a0 + a1x, после чего, заменив переменную ln y = y , получим уравнение линейного вида y = a0 + a1x. К преобразованному уравнению применяют МНК. При этом оценки параметров минимизируют фактически не функцию вида

n

f = (yi − yi)2,

i=1

39

а функцию

f = n (yi − yi )2.

i=1

Здесь и далее, если индексы суммирования опущены, предполагается, что суммирование идет от i = 1 до n.

Основные типы зависимостей и линеаризующие преобразования приводятся в учебном пособии (стр. 22—23).

Для множественной регрессии представляется соблазнительным представляется увеличение порядка выравнивающей кривой, ибо известно, что всякую функцию на любом интервале можно сколь угодно точно представить полиномом

y = b0 + b1x + b2x2 + b3x3 + . . . + bpxp.

Так, можно подобрать такой показатель p, что соответствующий полином пройдет через все вершины эмпирической линии регрессии. Однако повышение порядка гипотетичной параболической кривой может привести к неоправданному усложнению вида искомой функции регрессии, когда случайные отклонения осредненных точек неправильно истолковываются как определенные закономерности в поведении кривой регрессии. Кроме того, за счет увеличения числа параметров снижается точность кривой регрессии (особенно в случае малой выборки) и увеличивается объем вычислений. В связи с этим в практике регрессионного анализа редко используются полиномы выше третьей степени.

Для множественной регрессии, кроме линейной модели, часто используют степенную (мультипликативную) модель:

y = a0xa11 xa22 . . . xapp .

Подобная мультипликативная модель приводится к линейному виду логарифмированием:

ln y = ln a0 + a1 ln x1 + a2 ln x2 + . . . + ap ln xp.

После замены переменных и переобозначения параметров:

y = ln y, a0 = ln a0, xj = ln xj ,

40

имеем линейную модель

y = a

+ a1x

+ . . . + apx

,

 

0

1

p

 

к которой применяются все операции множественного регрессионного анализа.

В третьем случае, когда функцию невозможно привести к линейному виду, оценивание параметров осуществляют с помощью нелинейного МНК, где решение проводится с использованием итерационных процедур при минимизации функции многих переменных (разложение функции в ряд Тейлора и др.).

41

Лекция 2.3.2. Анализ вариации результирующего признака. Проверка значимости уравнения регрессии и коэффициентов уравнения регрессии

Оценить значимость уравнения регрессии — значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Оценка значимости уравнения регрессии производится на основе дисперсионного анализа. Рассмотрим сумму квадратов отклонений зависимой переменной от средней y:

n

Q = (yi − y)2,

i=1

где n — объем выборки.

Общая сумма квадратов Qобщ может быть разложена на отдельные составляющие:

n

n

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

Qобщ = (yi −

y

)2 =

(yi − yˆi + yˆi −

y

)2 =

 

 

 

 

 

=1

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

n

 

n

 

 

i

+

 

 

 

 

 

+ 2

 

 

 

=

(yi − yi)2

(yi − y)2

(yi − yi)(yi − y).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=1

 

i=1

 

i=1

Сумма квадратов отклонений фактических значений от расчетных называется остаточной суммой квадратов и обозначается как

n

Qост = (yi − yi)2.

i=1

Сумма квадратов отклонений расчетных значений от среднего называется объясненной суммой квадратов и обозначается как

n

Qобъясн = (yi − y)2. i=1

Третий элемент в разложении представляет собой сумму произведений объясненной и остаточной компонент регрессии. Основываясь на

42