Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория вероятностей и случайные процессы. Учебное пособие
.pdf
Ãëàâà 16
Ðегрессионный анализ
16.1. Линейная регрессия
Наблюдаетсÿ случайная величинаy, çíàчения êоторой зависÿò îò случай-
íîãî вектора
рение вектор неизвестных параметров регрессии−→β = (a0, a1, ..., ak)
изучать линейную регрессию
Ïóñòü ât-ì ýêсперименте факторы регрессии принимают заданные çíà÷å-
íèÿ
ãäå
t = 1, ..., N
(y1, ..., yN)
факторов регрессии−→x = (1, x1, ..., xk)
k
1,t
i=1
, ..., x
aixi.
k,t
. После
E(y|−→x ) = a0+
−→
(t)
x
= (1, x
N ≥ k + 1
ýêспериментов получен набор
:
−→
y = X
−→
T
β +−→u ,
. Введем â рассмот-
. Áóäåì
),
откликîâ
ñ матрицей плана
X(k + 1 × N)
x
x
x
1 . . . 1
. . . x
1,1
. . . x
2,1
.
.
.
.
.
.
. . . x
k,1
161
1,N
2,N
.
.
.
k,N
.
Матрицу
òîð−→u = (u1, ..., uN)
XT áóäåì называть матрицей линейного преобразования, âåê-
áóäåì называть вектором ошибок (случайных îñòàò-
êîâ).
Сформуëèðóåì следующую теорему.
Òеорема 16.1
è вектор ошибок−→u
âåличин ñ ðаспределениеì
ïîлученная ïî методу наименьших квадрàòîâβ
функцию
(Ãàóññà-Ìàðêîâà).Пусть матрицаXимеет ðàíã
состоит èç независимых гауссовских ñлучайных
2
Φ
ñ одной è òîé æå дисперсией. Òîãäà оценка
0,σ
, которàÿ минимизирует
S(−→β ) = (−→y − X
−→
T
β )T(−→y − X
−→
T
β )
k+1
имеет âèä
β = (X XT)−1X−→y .
Ковариационная матрица оценкиβ
Cov(β,β|X) = σ
ãäå
2
σ
=
u
N−k
(−→y −X
T
β)T(−→y −X
1
äëÿ дисперсии ñлучайного остатка, через
T
ненту векторà−→y − X
β
.
вычисляется ïî ôîðìóëå
2
(XXT)−1,
u
N
T
β) =
1
N−k
i=1
2
u
i
uiìû обозначилиi-óþ êîìïî-
íåñмещенная оценка
 простейшем варианте çàäà÷è î линейной регрессии äàíû ïàðû точек
(x1, y1), . . . , (xn, yn)
. Çàäà÷à состоит â отыскàíèè ïðÿìîé
y = kx + b
, íàè-
лучшим образом приближающей ýòè точки â следующем смысле: çíàчение
суммы квадратов отклонений çíàчений
kxi+ b
достигàåò минимума:
n
yiîò соответствующих çíàчений
(yi− kxi− b)2→ min .
i=1
Ðешение çàäà÷è даетсÿ следующими формуëàìè:
xy − x y
k =
x2− (x)
;
2
b = y − kx.
Âåðîятностная ïîñòановкà çàäà÷è, приводящая ê òîìó æå ответу, ñî-
стоит â следующем: случайные величины
íèå ñ îäíîé è òîé æå дисперсией è ñ математическим îжиданием
yiимеют нормальное распределе-
Kxi+ B
Òîãäàkèb ýòî оценки параметровK,Bïî ìåòîäó ìàêсимального ïðàâ-
äîïîдобия.
162
.
16.2. Критерий Дарбина-Ватсона
Ðассмотрим ñòатистику Дарбина-Ватсона
N
(ui− u
i=2
N
i=1
ãäå через
DW =
uiобозначаетсÿi-àÿ êомпоненту вектора−→y − X
16.1). Íà основе ýòîé ñòатистики строитсÿ критерий äëÿ проверки предпо-
сылки теоремы Ãàóññà-Ìàðêîâà î íåêоррелированности случайных îñòàò-
êîâ â ìîäåëè линейной регрессии, à именно, проверÿåòñÿ основная гипотеза
H1: Cov(ui, uj) = 0, j = i −1.
Ýòîò критерий реализуåòñÿ â итоге следующих шагов.
Øàã 1. Ïî êоличеству уравнений наблюденийN, à òàêæå êоличеству
k + 1
неизвестных параметров регрессии è ошибкå первого ðîäà критерия
α
следуåò выбрать äâå величины
òаблицы, ñêàæåì äëÿ
равны соответственно
α = 0, 05èk = 1,N = 10
0, 88è1, 32
dLè
dU(äëÿ ýòèõ величин ñîñòавлены
).
Øàã 2. Областью принятия основной гипотезы служит промежуток
(dU, 4 − dU)
.
Ïðè попадании реализации ñòатистики
маетсÿ àëüтернативная гипотеза:
u
i−1
2
i
DW
2
)
,
çíàчения
â ìíîæество
T
β
(ñì. теорему
dLè
dUáóäóò
(0, dl]
прини-
H1: Cov(ui, uj) > 0, j = i − 1.
Åñëè æå реализация ñòатистики
DW
попадает â ìíîæество
[4 − dL, 4)
, òî
принимаетсÿ àëüтернативная гипотеза:
H1: Cov(ui, uj) < 0, j = i − 1.
16.3. Обобщенный ìåòîä наименьших êâàä-
ратов
Ïóñòü вектор случайных ошибок−→u = (u1, u2, ..., uN)
регрессии являетсÿ ãàóссовским ñ линейно независимыми êомпонентàìè.
Ковариационную матрицу
Cov(−→u ,−→u ) = σ
2
Ω
, ãäåΩ симметричная невырожденная матрица, à
0
Cov(−→u ,−→u )
âñåãäà ìîæíî представить â âèäå
произвольно выбранная ïîëîжительная êîíñòàíòà. Оценкà неизвестных
163
â ìîäåëè линейной
σ
2
0
параметров регрессииβ
, äîñòавляемая процедурой обобщенного ìåòîäà
наименьших квадратов, ìîæåò áûòü вычислена â процессе решения ñëå-
дующей системы уравнений
XΩ−1X
T
β = X Ω
−1
−→
y .
Далее ìû рассмотрим äâå ìîäåëè ñòационарных временных ðÿäîâ, à
именно: ìîäåëü авторегрессии первого ïîðÿäêà (обозначение
äåëü ñêользящего среднего первого ïîðÿäêà (обозначение
AR(1)
MA(1)
) è ìî-
).
16.4. Ìîäåëü авторегрессии
первого ïîðÿäêà, AR(1)
Определим последовательность
{ut}
t=1,2,...
случайных величин следующим
образом:
ut= ρu
ãäå
{ξt}
t=1,2,...
последовательность независимых ãàóссовских случайных
величин ñ íóлевым средним è дисперсией равной
ñòàíòà, òàêàÿ ÷òî
(1 −ρ2)σ
2
u
= σ
2
.
ξ
|ρ| < 1
, ïðè ýòîì
+ ξt,
t−1
σ
Eu1= 0,Du1= σ
2
,ρ íåêоторая êîí-
ξ
2
,
u
Cov(u
, ξt) = 0
t−1
Ìû áóäåì говорить, ÷òî определенный òàêèì образом временной ðÿä
{ut}
t=1,2,...
÷àòü
Ðассмотрим уровни временного ðÿäà
ôèêсированных моментà времени
соответствуåò ìîäåëè авторегрессии первого ïîðÿäêà è обозна-
ut∈ AR(1)
.
{ut}
t=1,2,...
t = ièt = j
â äâà ïроизвольных íî
. Уровни
uiè
ujявляютсÿ
случайными величинами, определим äëÿ íèõ êоэффициент êорреляции
ρuu(i, j) = Cor(ui, uj).
Функция
äëÿ ñòационарного временного ðÿäà îíà зависит толькî îò разности
ò. å.
ut∈ AR(1)
ρuu(i, j)
ρuu(i, j) = f (|i − j|)
называетсÿ автокорреляционной функцией, заметим, ÷òî
, ãäåf íåêоторая функция. Â частности äëÿ
автокорреляционная функция равна
ρuu(i, j) = ρ
|i−j|
i −j
.
16.5. Ìîäåëü ñêользящего среднего
первого ïîðÿäêà, MA(1)
è
,
Определим последовательность
ut= γξ
{ut}
t=1,2,...
t−1
164
случайных величин
+ ξt,
ãäå
{ξt}
t=0,1,...
величин ñ íóлевым средним è дисперсией, равной
последовательность независимых ãàóссовских случайных
2
σ
,γ íåêоторая êîí-
ξ
ñòàíòà. Áóäåì говорить, ÷òî определенный òàêèì образом временной ðÿä
{ut}
÷àòü
равна
t=1,2,...
соответствуåò ìîäåëè ñêользящего первого ïîðÿäêà è обозна-
ut∈ MA(1)
. Автокорреляционная функция
|i−j|
ρuu(i, j) =
1+γ
γ
2
, |i − j| ≤ 1;
ρuu(i, j)
â ýòîì случае
0, |i − j| ≥ 2.
16.6. Оценивание линейных
регрессионных ìîделей
ñ зависимыми îñòàòêàìè
Ðассмотрим регрессионную ìîäåëü
yt= a0+ a1x
ut∈ AR(1), t = 1, 2, ..., N.
+ ... + akx
1,t
k,t
+ ut;
Обратим внимание, ÷òî
регрессионной ìîäåëè,
ut, t = 1, 2, ..., N
äëÿ âñåõ
yt−ρy
ãäå
t = 2, 3, ..., N
t−1
{ξt}
t=2,3,...,N
набор случайных îñòàòêîâ. Ïîñêольку
= a0(1−ρ)+a1(x
последовательность независимых îдинакîâî распреде-
ìîæåì выписать следующие соотношения:
yt, t = 1, 2, ...,N
ýòî набор откликîâ â
a1, a2, ..., ak неизвестные параметры регрессии,
1,t
−ρx
)+...+ak(x
1,t−1
k,t
−ρx
ut∈ AR(1)
)+ξt,
k,t−1
ìû
(16.1)
ленных ãàóссовских случайных величин.
Åñëè áû êîíñòàíòàρáûëà известна, òî ìîäåëü (16.1) áûëà áû ìîäå-
ëüþ ìíîæественной регрессии, â ðàìêàõ êоторой âñå предпосылки теоре-
ìû 16.1 (теоремы Ãàóññà-Ìàðêîâà) справедливы. Òàê ÷òî ìîæíî áûëî áû
получить ìåòîäîì наименьших квадратов оценки неизвестных параметров
регрессии. Однакîρ неизвестная êîíñòàíòà, çíàчения êоторой принад-
лежит промежутку
[0, 1)
. Алгоритм åå определения нелинейным ìåòîäîì
наименьших квадратов принадлежит Хилдрету è Ëó è состоит èç следую-
ùèõ шагов:
Øàã 1. Задатьсÿ â промежуткå
[0, 1)
набором пробных çíàчений
ρ = ρiïî
правилу
ρi= (i − 1)/n, i = 1, ..., n,
165
ãäån íåêоторое натуральное число.
Øàã 2. Ïðè êаждом çíàчении
ρ = ρiñîñòавить â ðàìêàõ ìîäåëè (16.1)
систему уравнений
y2− ρy1= a0(1 −ρ) + a1(x
...
yN− ρy
= a0(1 −ρ) + a1(x
N−1
1,2
− ρx
1,N
+ak(x
) + ... + ak(x
1,1
− ρx
1,N−1
− ρx
k,N
k,2
) + ...+
k,N −1
− ρx
) + ξ
N
k,1
) + ξ2;
è вычислить íà основании ýòîé системы оценки неизвестных параметров ñ
помощью ìåòîäà наименьших квадратов, à òàêæå оценки случайных îñòàò-
êîâ регрессииξj, j = 2, ..., N
. Далее следуåò вычислить сумму квадратов
оценок случайных îñòàòêîâ
N
2
ξ
.
j
j=2
Øàã 3. Выбрать èç ìíîæества пробных çíàчений
соответствующие åé оценки неизвестных параметров регрессии, äëÿ êîòî-
ðîé достигàåòñÿ минимум
N
j=2
2
ξ
.
Полученные оценки è áóäóò èñêомыми
j
ρiòàêóþ величинуρ
оценкàìè параметраρâ ìîäåëè авторегрессии, à òàêæå неизвестных ïàðà-
метров регрессии
 предлагаемых çàäà÷àõ âñþäó предполагàåòñÿ, ÷òî
a0, a1, ..., ak.
k = 1
.
16.7. Çàäà÷è äëÿ самостоятельного решения
16.1
Ìåòîäîì наименьших квадратов найти неизвестные параметры ðå-
грессии.
x
1 2 3
1,t
yt5 −1 2
16.2
Ìåòîäîì наименьших квадратов найти неизвестные параметры
регрессии.
x
регрессии.
x
сумму квадратов îñòàòêîâ. Далее, предполагàÿ, ÷òî случайные îñòàòêè
1 2 3 4 5 6 7 8 9 10
1,t
yt5, 4 10, 4 14, 6 16, 8 20, 07 26, 13 30, 8 35, 3 41, 5 43, 5
16.3
Ìåòîäîì наименьших квадратов найти неизвестные параметры
1 2 3
1,t
yt2 −1 2
Вычислить ñòатистику Дарбина-Ватсона è ñделать âûâîäû, вычислить
è
166
ïîдчиняютсÿ ìîäåëè AR(1) ñ
ρ = 1/2
, вычислить òàêæå оценки парамет-
ðîâ регрессии è сумму квадратов îñòàòêîâ, сравнить ýòó сумму квадратов
ñ полученной ранее è ñделать âûâîäû.
16.4
Ïóñòü последовательность случайных величин
{ut}
ïîдчиняет-
ñÿ ìîäåëè авторегрессии первого ïîðÿäêà ñ êоэффициентом êорреляции
между соседними уровнями, равным
1/3
. Вычислить автокорреляционную
функцию.
16.5
Последовательность случайных величин
{ut}
óдовлетворÿåò ìî-
äåëè ñêользящего среднего первого ïîðÿäêà ñ êоэффициентом êорреляции
между соседними уровнями, равным
1/2
. Вычислить автокорреляционную
функцию.
16.6
Предполагàÿ, ÷òî случайные îñòàòêè â ìîäåëè регрессии ïîä÷è-
няютсÿ ìîäåëè авторегрессии первого ïîðÿäêà, вычислить êоэффициент
êорреляции между соседними уровнями случайных îñòàòêîâ (использо-
âàòü алгоритм Хилдретà-Ëó).
x
1 2 3 4
1,t
yt7, 7 9, 2 13 18, 8
16.7
Предполагàÿ, ÷òî случайные îñòàòêè â ìîäåëè регрессии óäî-
влетворÿþò ìîäåëè ñêользящего среднего первого ïîðÿäêà, найти оценки
неизвестных параметров регрессии.
x
1 2 3 4 6
1,t
yt5 −1 2 −1 3
16.8
Ïóñòü реализация случайных îñòàòêîâ â ìîäåëè линейной регрес-
ñèè имеет âèä:
0, 27; 2, 18; 0, 18; −1, 17; 0, 68;2, 05; 0, 45; −1, 1; −1,74; −3, 21.
Áóäåì предполагàòü, ÷òî случайные îñòàòêè óдовлетворÿþò ìîäåëè
AR(1)
, ò.å.
ut= ρu
t−1
+ ξi, ãäå
{ξi}
последовательность независимых
îдинакîâî распределенных нормальных случайных величин. Используÿ
ìåòîä наименьших квадратов, найти оценку äëÿρ.
167
Ãëàâà 17
Ìàðêовские öåïè è
процессы
17.1. Öåïè Ìàðêîâà. Ýðãîдическàÿ теорема
Ïóñòü êаждая èç случайных величин
ëî çíàчений
Последовательность
{x1, x2, ..., xm}
X0, X1, ...
, ýòè çíàчения ìû áóäåì называть состояниями.
называетсÿ цепью Ìàðêîâà, åñëè äëÿ ëþáî-
ãî моментà времениnè любых ñîñòîÿíèé
P(Xn= x
Öåïü Ìàðêîâà
перехîäíûõ âåðîятностей
i
n
|X
{Xn}
n−1
= x
n≥0
, ..., X0= x
i
n−1
называетсÿ îднороäíîé ïî времени ñ матрицей
M = (pij)
P(Xn= xj|X
Обратим внимание, ÷òî äëÿ любого
X0, X1, ...
) = P(Xn= x
i
0
принимает êонечное ÷èñ-
x
i
0
, ..., x
выполняетсÿ
i
n
|X
i
n
, åñëè äëÿ любогоnè любых
= xi) = pij.
n−1
i
m
n−1
= x
i
n−1
xiè
).
x
j
pij= 1.
j=1
 дальнейшем áóäóò рассматриватьсÿ толькî îднороäíûå öåïè Ìàðêîâà!
Обозна÷èì
pij(k) = P(X(k) = xj|X(0) = xi)
âåðîятность перехîäà çàkшагов èç состоÿíèÿ
xiâ состоÿíèå
xjè
pj(k) = P(X(k) = xj)
168
âåðîятность íàõîждения â состоÿíèè
xjâ момент времениk. Äëÿ äàëü-
нейшего èçëîæåíèÿ íàì понадобитсÿ следующая матрица ïîðÿäêàmè
вектор-строкà размера
è
m
M
N
(k)
(k)
= (pij(k))
= (pi(k)).
Перехîäíûå âåðîятности óдовлетворÿþò уравнениям Колмогорова-
Чэпмена
pij(k + l) =
è
pj(k + l) =
piα(k)pαj(l)
α
pα(k)pαj(l).
α
 матричной форме ýòè уравнения ìîæíî переписать òàêèì образом
M
(k+l)
= M
(k)M(l)
è
N
(k+l)
= N
(k)M(l)
.
Следующая теорема описывает широкий класс ìàðêовских цепей, îá-
ладающих òàê называемым свойством ýðãîдичности: пределы
lim
n→∞pij
пределение âåðîятностей (
(n)
íå толькî существуют è íå зависÿò îòi, íî è образуют ðàñ-
πj≥ 0,
m
j=1
πj= 1
), íî è òàêîâû, ÷òî
πj=
πj> 0
äëÿ âñåõj.
Òеорема 17.1
(ýðãîдическàÿ теорема).Пусть
M = (pij)
матри-
öà переходных вероятностей марковской öåïè ñ конечным множествоì
состояний
Åñëè найдется
òî существуют ÷èñëà
è äëÿ любого
Ïðè ýòîì ÷èñëà
{x1, ..., xm}
n0такое, ÷òî
i
(π1, ..., πm)
.
min
pij(n0) > 0,
i,j
π1, ..., πmтакие, ÷òî
m
n→∞
πj= 1
j=1
pij(n).
πj> 0,
πj= lim
удовлетворяют систеìå óðавнений
πj=
παpαj, j = 1, ..., m.
α
169
17.2. Ìàðêовские процессы
ñ непрерывным временем
è êонечным числом состоÿíèé
Поведение системы ñ возможными состояниями
описано случайной функцией
ìåíòtсистема íàõîдилась â состоÿíèè
X(t)
, принимающей çíàчениеk, åñëè â ìî-
Sk. Åñëè перехîä системы èç îäíî-
S0, S1, ..., Smìîæåò áûòü
ãî состоÿíèÿ â другое возмоæåí â любой момент времениt, à âåðîятности
pik(t, τ)
Skâ момент времени
времениt, òî
перехîäà системы èç состоÿíèÿ
τ, τ ≥ t
X(t)
являетсÿ ìàðêовским случайным процессом ñ êонечным
íå зависÿò îò поведения системы äî моментà
Siâ момент времениtâ состоÿíèå
числом состоÿíèé. Процесс называетсÿ îднороäíûì, åñëè
pik(t, τ) = pik(t −τ, 0).
Âåðîятности
t
определяютсÿ èç системы уравнений
ãäå
λjk(t)
Pk(t)
íàõîждения системы â состоÿíèè
m
dPk(t)
dt
=
λjk(t)Pj(t), k = 0, 1, 2, ..., m,
j=0
Skâ момент времени
интенсивность перехîäà â моментtèç состоÿíèÿ
Sjâ
Sk. Â
случае îднороäíûõ ìàðêовских процессов интенсивности перехîäà èç îä-
íîãî состоÿíèÿ â другое íå зависÿò îò времени, ò.å. äëÿ âñåõtвыполняетсÿ
равенство
λjk(t) = λjk.
Åñëè íàчальное состоÿíèå
Siзадано, òî
Pk(0) =
0, i = k
1, i = k .
Ïðè îднороäíîì ìàðêîâñêîì процессе ñ сообщающимисÿ состояниями ñó-
ществуют независимые îò номеров èñõîдного состоÿíèÿ пределы
lim
pik(t) = lim
t→∞
Предельные âåðîятности
íèé
m
j
m
j=0
=0
Pk(t) = Pk, k = 0, 1, 2, ..., m.
t→∞
Pkíàõîäÿòñÿ èç системы алгебраических уравне-
λjkPj= 0, k = 0, 1, 2, ..., m;
Pj= 1.
170
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]