ЛАБОРАТОРНАЯ РАБОТА №10. РЕГРЕССИОННЫЙ АНАЛИЗ
10.1.Цель работы
10.1.1.Изучение методов решения задач регрессионного анализа.
10.1.2.Приобретение навыков решения задач регрессионного анализа с помощью системы Matlab.
10.2.Теоретические положения
10.2.1. Постановка задачи
В регрессионном анализе изучается взаимосвязь между случайными и неслучайными величинами на основе экспериментальных данных. Ограничения, накладываемые на изучаемые величины, менее обременительны по сравнению с корреляционным анализом. В связи с этим считается, что задачи регрессионного анализа чаще встречаются на практике.
Рассмотрим сразу случай многих переменных (множественную нелинейную регрессию) в матричной форме, поскольку он включает и простую линейную и нелинейную регрессии.
Считается, что случайная величина η зависит от векторной неслучайной переменной X = (x1 ,..., xq ) таким образом, что условная плотность вероятности величины η нормальная следующего вида:
f (η/ x) = N (ϕ(x,θ ),σ 2 ) ,
где θ = (θ1,...,θm ) – вектор неизвестных параметров функции регрессии y =ϕ(x,θ ) .
Эквивалентной является следующая модель данных:
η =ϕ( X ,θ ) +ξ ,
87
где ξ N(0,σ 2 ) .
Выбирая некоторые значения X1,..., X n векторной переменной X , можно получить значения yo,1 ,..., yo,n случайной величины η в виде
yoi =ϕ(xi ,θ ) + zi , i =1, n ,
где zi – независимые случайные величины (значения величины ξ ).
Требуется по наблюдениям (X1 , yo,1 ),..., (X n , yo,n ) получить оценки θ , σ)2
неизвестных параметров θ ,σ 2 и сделать статистические выводы относительно этих параметров.
10.2.2. Точечные оценки параметров
Решим задачу в матричных обозначениях. Функция регрессии y =ϕ(x,θ ) ,
как линейная, так и нелинейная относительно X , может быть представлена следующим образом:
|
|
) = H Tθ |
, |
|
|
|
|
|
|
y =ϕ( X ,θ |
|
|
|
|
|
||||
где |
|
|
|
|
|
|
|
|
|
H T = H T ( X ) = (h ( X ),...,h |
|
( X )) = (h |
|
( X )), |
j = |
|
|
||
m |
j |
1,m |
. |
||||||
1 |
|
|
|
|
|
|
|||
Здесь h j (X ) – некоторые функции вектора X ,
θ T = (θ1 ,...,θm ) = (θ j ), j =1, m ,
где θ T – вектор-столбец параметров.
Класс функций, описываемых таким образом, называется классом функций, линейных по параметрам. Желая получить линейную функцию регрессии одной переменной, мы можем выбрать
H T = (1, x), θ T = (α, β) .
Тогда
88
|
|
|
|
α |
=α + βx . |
|
|
|
|
y =ϕ(x,α, β) = (1, x) |
|
|
|
|
|
||||
|
|
|
|
β |
|
|
|
|
|
Желая получить нелинейную функцию регрессии в виде y =α + βx |
+γx |
2 |
+τx2 |
, |
|||||
|
|
|
|
|
1 |
|
1 |
|
|
достаточно выбрать H T = (1, x , x |
2 |
, x2 ), θ |
T |
= (α, β,γ,τ) . |
|
|
|
|
|
1 |
1 |
|
|
|
|
|
|
|
|
Таким образом, мы рассматриваем зависимости вида yoi = HiTθ + zi , i =1, n ,
где
H |
T = (h (X |
|
),..., h |
|
(X |
|
)) = (h |
|
(X |
|
)), j = |
|
, i = |
|
, |
i |
m |
i |
j |
i |
1, m |
1, n |
|||||||||
i |
1 |
|
|
|
|
|
|
|
|
|
и считаем, что векторы H1,..., Hn линейно независимы.
Воспользовавшись методом максимума правдоподобия, можно получить следующие оценки:
|
) |
|
n |
|
|
n |
|
|
|||
T = |
(∑H j H Tj )−1 |
(∑H i yo,i ) , |
|||||||||
θ |
|||||||||||
|
|
|
j=1 |
|
i=1 |
|
|
||||
)2 |
|
1 |
n |
T |
) |
|
2 |
|
|||
|
|
|
|||||||||
|
|
σ |
= |
|
∑( yo,i − H i θ ) |
|
. |
||||
|
|
|
|
||||||||
|
|
|
|
n i=1 |
|
|
|
|
|
||
Обычно эти оценки записывают в другой форме. Если рассмотреть весь набор данных эксперимента, то рассматриваемую модель можно записать в виде
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
Yo = Fθ |
|
+ Z , |
|
|
|
|
|
|
|
|
|
|
|
||||||||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Y T |
= ( y |
|
) , F = ( f |
|
) = (h |
|
(X |
|
|
|
|
T |
= (θ |
|
) , Z T |
= (z |
|
) , i = |
|
, j = |
|
. |
||||||||||
o,i |
i, j |
j |
i |
)) , θ |
j |
i |
1, n |
1, m |
||||||||||||||||||||||||
o |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
В этом случае оценки запишутся следующим образом: |
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
= (F T F )−1(F T Y ) , |
|
|
(10.1) |
|||||||||||||||||||||
|
|
|
|
|
|
θ |
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
o |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
)2 |
|
|
1 |
|
|
|
) |
|
T |
|
|
|
) |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
(Y − Fθ ) |
(Y |
|
− Fθ ) . |
|
|
(10.2) |
|||||||||||||||||||
|
|
|
|
|
σ |
|
= |
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
n |
|
|
o |
|
o |
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
89
10.2.3. Свойства оценок
Оценка θ – несмещенная, состоятельная, эффективная. Оценка σ)2 – асимптотически несмещенная, состоятельная, асимптотически эффективная. Исправленная оценка
σ)2 |
= |
n |
σ)2 = |
1 |
(Y − Fθ))T (Y − Fθ)) , |
|
|
|
|||||
1 |
|
n −m |
|
n −m |
o |
o |
|
|
|
|
|
||
где m – количество оцениваемых параметров, является несмещенной, состоя-
тельной и эффективной. Оценки θ и σ)2 независимы. Рассмотрим распределения оценок. Доказано, что
|
|
|
|
|
,σ 2 (F T F)−1 ) , |
(10.3) |
|||||
θ |
Nm (θ |
||||||||||
|
|
|
σ)2 |
|
(n − m)σ 2 |
|
|
||||
v = |
|
n |
= |
|
|
|
ˆ1 |
H n−m . |
|
||
|
σ 2 |
|
|
σ |
2 |
|
|
||||
|
|
|
|
|
|
|
|
||||
Матрица |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σ 2 (F T F )−1 |
|
(10.4) |
|||||
является ковариационной матрицей оценки. Введем обозначения:
A = F T F = (ai, j ) , A−1 = (F T F)−1 = (ai, j ), i, j =1, m .
Используя эти обозначения и распределение вектора θ , можно записать, что
ui = θi −θi |
N (0,1), i =1, m , |
|
|
σ 2 ai,i |
|
ti = θi −θi |
n − m = θi −θi Tn−m , i =1, m . |
|
nσ)2 ai,i |
|
σ)12 ai,i |
Имея оценку θ , мы можем получить оценку ординаты функции регрессии y
для любой точки X в виде
y) = H Tθ .
Можно показать, что
90