Моделирование процессов и систем. Учебное пособие
.pdf21
При выводе (27) использовалось свойство П.5, в силу которого неслучайную матрицу F можно вывести из-под знака математического ожидания.
Свойство несмещенности означает, что МНК не вносит в оценки неизвестных коэффициентов систематической ошибки. Если различ-
ные оценки bN получать многократно для разных выборок объема N, они будут группироваться вокруг математического ожидания .
2. Дисперсии и ковариации оценок регрессионных коэффициентов определяются по формулам:
2(b ) = c |
i i |
2 , |
|
(28) |
|||
|
|
i |
|
2 |
|
|
|
соv (b |
i |
b ) = c |
i j |
, |
(29) |
||
|
j |
|
|
|
|
||
где ci i – i-й диагональный элемент матрицы С = (FTF)-1, |
а ci j – |
||||||
недиагональный элемент, находящийся на пересечении i-ой строки и j-го столбца.
Для доказательства этого свойства представим ковариационную матрицу оценок b таким образом:
|
σ2 b1 |
|
|
cov b1 , b2 ... cov b1 , bk |
|
|
|||||||||||
|
cov b |
|
|
|
|
σ2 b |
|
|
... cov b |
|
|
|
|
|
|
|
|
|
|
, b |
|
|
|
|
|
|
, b |
|
|
|
|||||
V b |
|
2 |
1 |
|
|
2 |
|
|
2 |
|
|
k |
|
|
= |
||
|
............................................................ |
|
|
|
|||||||||||||
|
cov b |
k |
, b |
1 |
|
cov b |
k |
,b |
... σ2 b |
k |
|
|
|
|
|
||
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|||||
|
|
|
b1 β1 |
|
|
b1 β1 b2 β2 ... |
b1 β1 bk |
βk |
||||||||||||||
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
|
β |
|
b |
β |
|
|
b |
|
β |
|
2 ... |
b |
|
β |
|
b |
|
β |
|
|
E |
|
2 |
|
2 |
1 |
|
1 |
|
|
2 |
|
2 |
|
|
2 |
|
2 |
|
k |
|
k |
= |
....................................................................................... |
|
|||||||||||||||||||||
|
bk βk b1 β1 |
|
bk βk b2 β2 |
|
|
bk |
βk 2 |
|
||||||||||||||
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
= E[(b - )(b - )T] . |
|
|
|
|
|
|
|
(30) |
||||||
По аналогии с оценками b истинные значения коэффициентов |
||||||||||||||||||||||
можно представить в виде |
|
= (FTF)-1FT . Подставив это выражение |
||||||||||||||||||||
в (30) и учитывая (26), получим: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
V (b) = E [ (FTF)-1FT (у - ) (у - )T F (FTF)-1] = |
|
|
|||||||||||||||||||
|
|
|
= (FTF)-1FT E [(у - ) (у - )T] F (FTF)-1 . |
|
|
(31) |
||||||||||||||||
22
При выводе последнего выражения важно помнить, что F – неслучайная матрица. Тогда она выводится из-под знака математического ожидания. Более того, матрица (FTF)-1 – симметрична, поскольку симметрична матрица M = (FTF). Поэтому транспонирование не меняет матрицу (FTF)-1.
Выражение Е [(у - ) (у - )T], которое входит в (31), имеет тот же вид, что и (30), и представляет собой не что иное, как ковариацион-
ную матрицу случайных наблюдений V (у). В соответствии с предпо-
ложением П.3 она диагональная с одинаковыми элементами 2 на диагонали, т. е.
V(y) = Е [(у - ) (у - )T] = 2I.
Подстановка этого результата в (31) дает:
V (b) = (FTF)-1 (FTF) (FTF)-1 2 =(FTF)-1 2 = C 2 . |
(32) |
Запись (32) эквивалентна (28) и (29), что и доказывает эти утверждения.
Поскольку дисперсии и ковариации оценок b определяются элементами матрицы С = (FTF)-1, эту матрицу и называют матрицей ошибок или матрицей дисперсий - ковариаций.
3. Оценки, полученные с помощью МНК, эффективны, т. е. имеют наименьшие дисперсии среди всех возможных линейных несмещенных оценок:
2(b ) 2( ) , |
(33) |
|
i |
i |
|
где i — произвольная линейная несмещенная оценка i. |
|
|
Из (33) вытекает неравенство: |
|
|
trV(b) trV( ), |
(34) |
|
где tr V (b) = 2(b ) — след матрицы V (b), |
|
|
i |
|
|
a tr V ( ) = 2( ) - след ковариационной матрицы V ( ) . |
|
|
i |
|
|
Имеет силу и соотношение: |
|
|
|V(b)| |V ( ) |, |
(35) |
|
где |V (b)| и |V ( )| — определители соответствующих матриц. |
|
|
Свойства (33), (34) и (35) означают, что точность МНК-оценок в общем случае выше, чем точность любых других линейных несмещенных оценок. Определитель |V (b)| называют обобщенной дисперси-
23
ей. Таким образом, МНК минимизирует обобщенную дисперсию оце-
нок b неизвестных коэффициентов .
Надо отметить, что соотношения (33), (34) и (35) имеют значение для любых конкретных наборов данных, на основе которых получены оценки. Правда, эффективность оценок зависит еще и от самих данных, так как для всех нетождественных наборов данных она будет разной. Ее можно повысить, выбирая подходящий план эксперимента, т. е. подходящим набором данных.
4. МНК-оценки состоятельны, т. е. когда число наблюдений N, на основе которых эти оценки получены, стремится к бесконечности,
bi N сходится по вероятности к i: |
|
|
|
|
||
lim P |
|
biN |
i |
|
1 , |
(36) |
|
|
|||||
N |
|
|
|
|
|
|
где – произвольное малое положительное число.
Для сходимости по вероятности часто пользуются следующей более простой записью:
Plim biN = i. |
(37) |
Записи (36) и (37) эквивалентны.
Для доказательства состоятельности b подставим у = + =
= F + в (26). Получим: |
|
bN = + (FT F)-1FT . |
(38) |
Предположим, что матрица CN = lim(FT F)-1 имеет предел. |
|
Кроме того, матрица F по предположению П.5 детерминирована. Отсюда ясно, что ее элементы не коррелированы с элементами вектора
, значит, |
|
Plim (FT )= 0 . |
(39) |
В таком случае из (38) и (39) получаем:
Plim bN = +CN Plim (FT ) = ,
что и доказывает состоятельность оценок МНК.
В математической статистике несмещенные, эффективные и состоятельные линейные оценки принято называть наилучшими линейными оценками. Очевидно, МНК-оценки, полученные в предположениях классического регрессионного анализа, принадлежат к этой категории.
5. Дисперсия предсказанного значения отклика у определяется по формуле
24
|
|
|
|
|
|
1 |
f 2 |
|
|
|
|
|
|
2 yˆ x f T FT F |
, |
(40) |
|||
|
|
|
|
|
|
x |
x |
|
|
где f |
x |
= [f (x), f |
(x),…,f |
k |
(x)]T – вектор функций fi из (11), вычислен- |
||||
|
1 |
2 |
|
|
|
|
|
||
ный для множества факторов, заданного вектором х =(x1, x2,…,xm).
Для доказательства воспользуемся определением дисперсии:
2 [ yˆ (x) ] = E{[ yˆ (x) - (x)]2}.
Поскольку yˆ (x) = bT fx и (х) = Tfx , это равенство можно записать в виде:
2 [ yˆ (x) ] = E{[ yˆ (x) - (x)] [ yˆ (x) - (x)]T} =
=E{fxT[(b - ) (b - )T ] fx} = fxT E[(b - ) (b - )T ] fx .
Если учесть (32), то из последнего выражения получится резуль-
тат (40).
Очевидно, дисперсия предсказанного значения отклика различна в разных областях изменения факторов.
6. Если регрессионная модель выбрана верно (т. е. Е(у) = F ),
несмещенная оценка дисперсии 2 задается выражением:
|
|
|
N |
y j yˆ j 2 |
|
|
|
|
|
|
|
|
|
|
|
s |
2 |
|
j 1 |
|
|
, |
(41) |
|
N k |
|
|||||
ост |
|
|
|
|
|||
|
|
|
|
|
|
||
где yˆ j – значение уj , предсказанное по модели (11).
Доказательство этого утверждения опирается на тот факт, что остатки для правильной модели можно рассматривать как несмещен-
ные оценки случайных возмущений:
ej = yj - yˆ j = ˆ j .
Так как оценки коэффициентов определяются посредством МНК, числитель выражения (41) равен минимальному значению сум-
мы Q из (13), называемой остаточной суммой квадратов и обозна-
чаемой QОСТ. Знаменатель ОСТ= N - k, называемый числом степеней свободы остаточной суммы, равен разности между числом опытов N и числом линейных связей k между результатами наблюдений y1, у2,...,
уN.
25
Эти линейные связи появляются в QОСТ, поскольку в yj участвуют k коэффициентов b1, b2, ,bk , которые определяются на основе тех же самых наблюдений с помощью решения системы нормальных уравне-
ний (25).
Если же вид модели выбран неправильно, (41) не может слу-
жить несмещенной оценкой дисперсии 2, потому что тогда остаточ-
ная сумма будет определяться не только случайными возмущениями, но и различиями между yj и yˆ j , обусловленными неправильным выбо-
ром структуры модели.
Рассмотренные свойства не связаны с предположением П.4 о
нормальном распределении, следовательно, они сохраняют силу и при других распределениях. Предположение о нормальности позволяет конкретизировать ряд свойств оценок, что имеет первостепенное значение при статистическом анализе результатов.
7. Если случайные возмущения 1 , 2, …, N есть независимые нормально распределенные случайные величины с нулевым матема-
тическим ожиданием и одинаковыми дисперсиями 2, вектор оценок регрессионных коэффициентов b имеет многомерное нормальное
распределение с математическим ожиданием и матрицей дисперсий - ковариаций (FT F)–1 2.
Доказательство этого свойства основано на том, что линейные преобразования случайных величин не меняют вида их законов распре-
деления. В соответствии с (26) вектор оценок b можно рассматривать как линейное преобразование случайного вектора у, и вывод о нормальном распределении b очевиден. При определении математического ожидания b используется (27), а вид матрицы дисперсийковариаций следует из (32).
Предсказанное значение отклика
k
yˆ j bi fij i 1
есть линейное преобразование оценок bi, но, поскольку они распределены нормально, величины yˆ j тоже имеют нормальное распределение.
Если структура модели выбрана правильно, математическое ожидание yˆ j есть
26
k
j = i fij , а его дисперсия определяется по (40).
j1
8.Отношение
|
N |
2 |
|
y j yˆ j |
|
QОСТ / 2 |
= (1/ 2) |
|
|
j 1 |
|
имеет распределение 2 с числом степеней свободы ост = N - k.
Как известно, распределением 2 называют распределение суммы квадратов нормированной нормально распределенной случайной величины. Случайная величина становится нормированной после деления на
соответствующую ей дисперсию. Плотность распределения ( 2) ве-
личины 2 несимметрична и существенно зависит от числа степеней
свободы . Это распределение используется для проверки некоторых гипотез относительно нормально распределенных случайных величин.
9. Вектор оценок коэффициентов регрессии b и оценка диспер-
сии s2 распределены независимо друг от друга.
Статистический анализ регрессионной модели
МНК обеспечивает минимизацию отклонений измеренных значений уj от предсказанных yˆ j при заданной структуре модели. К сожа-
лению, это не означает, что модель хорошо описывает изучаемое явление и может применять-
|
|
ся. Приступая к оцени- |
|||||
|
|
ванию, |
исследователь |
||||
|
yˆ1 |
||||||
|
должен |
выбрать |
струк- |
||||
|
|
туру |
модели. |
Однако |
|||
|
|
||||||
|
|
очень часто он не рас- |
|||||
|
|
полагает |
информацией, |
||||
|
yˆ2 |
достаточной |
для пред- |
||||
|
варительного |
решения |
|||||
|
|
данного вопроса. Тогда |
|||||
|
|
он начинает перебирать |
|||||
|
|
модели различного вида |
|||||
|
|
и |
останавливается на |
||||
Рис. 5. Однофакторный |
|
||||||
|
той |
из них, которая |
|||||
эксперимент |
|
||||||
|
лучше |
всего |
согласует- |
||||
|
|
||||||
ся с данными эксперимента. Эта проблема хорошо иллюстрируется
27
рис. 5, где показана зависимость отклика у от одного фактора х. Результаты эксперимента обозначены точками. Если исследователь представит эти результаты линейной моделью
yˆ1 = b0 + b1x ,
ее точность окажется, очевидно, неудовлетворительной, а остаточная сумма квадратов – очень большой.
Использование полинома второй степени yˆ2 = b0 + b1 х+ b2 х2
в этом случае гораздо удачнее, а его остатки y j yˆ j будут значитель-
но меньше.
В рассмотренном примере графическое представление данных дало возможность вполне определенно найти подходящую структуру модели. При большом числе факторов такое геометрическое представление оказывается невозможным, поэтому исследователю приходится обращаться к иным методам. Их основу обычно составляют соображения, связанные с сущностью изучаемого явления, а также опыт и интуиция исследователя при предварительном выборе структуры модели.
Очень часто модель не удается определить исходя из сущности изучаемого явления. Тогда можно воспользоваться полиномами. Определение степени полинома начинают с оценивания коэффициентов самой простой модели (линейной относительно факторов). Затем проверяют, достаточно ли хорошо предсказанные по модели значения отклика согласуются с результатами наблюдений. Для такой проверки разработаны специальные статистические процедуры, называемые про-
веркой адекватности модели.
Если первоначально выбранная модель окажется неадекватной, т. е. если предсказанные по ней значения не согласуются с результатами наблюдений достаточно хорошо, структуру модели можно изменить, а данные обработать снова для получения новых оценок коэффи-
циентов регрессии. Эта процедура проверки адекватности модели и ее улучшения продолжается до тех пор, пока не получится удовлетворительное согласование данных наблюдений и значений, полученных по модели. При подобной настройке модели затраты на ее построение можно резко сократить, если исследователь располагает какой-нибудь
априорной информацией о зависимости между входами и выходами
рассматриваемого объекта. Бессмысленно использовать линейную модель, если заранее известно, что зависимость имеет экстремум. Таков пример на рис. 5. Подобной информацией исследователь располагает довольно часто, поскольку иногда многофакторным исследованиям предшествуют однофакторные или накоплены опытные данные, соб-
28
раны литературные сведения, имеются некоторые достаточно обоснованные предположения в пользу определенной структуры модели.
Проверка адекватности модели – одна из важнейших статистических процедур регрессионного анализа, поскольку исследователь должен удостовериться в том, что практическое использование полученной модели приведет к положительным результатам. При выборе структуры модели стремятся к тому, чтобы она была как можно проще, т. е. включала как можно меньше коэффициентов. Это так называемый
принцип экономичности модели.
Сокращение числа коэффициентов облегчает как процедуру оценивания, так и использование модели [3].
Поскольку оценки регрессионных коэффициентов – случайные величины, возникает вопрос, не могут ли некоторые из них, например bi, получиться отличными от нуля только в результате воздействия
случайных возмущений, тогда как их истинные значения i равны нулю? Если это действительно так, ими можно пренебречь, и модель упростится. Проверка гипотезы о равенстве нулю некоторых регрессионных коэффициентов называется проверкой значимости.
Другая проблема, интересующая исследователей, – точность получаемых оценок, т. е. мера их отличия от своих истинных значений. Для ответа на этот вопрос вычисляют так называемые доверительные интервалы и области. Доверительный интервал есть отрезок, центром которого служит сама оценка bi и для которого заранее указана вероят-
ность (1 – ) того, что он включает значение i. Доверительные области строят в пространстве всех коэффициентов регрессии; они имеют смысл, аналогичный смыслу доверительных интервалов.
Можно строить доверительные интервалы и для значений отклика. Они покажут, насколько значение yˆ , предсказанное по модели,
отличается от своего математического ожидания , т. е. от "истинной" величины отклика. Для решения этой задачи применяют стати-
стические теории интервального оценивания и проверки гипотез.
Дисперсионный анализ результатов оценивания
О качестве оценок регрессионных коэффициентов и структуры модели можно судить по остаточной сумме квадратов:
N |
N |
|
QОСТ y j yˆ j 2 |
e2j . |
(42) |
j1 |
j1 |
|
Если учесть, что вектор предсказанных значений отклика равен
29
yˆ = Fb, остаточную сумму квадратов можно выразить через вектор остатков е = у - yˆ :
QОСТ = eTe = (y – yˆ )T(y – yˆ ) = (y – Fb)T(y – Fb). |
(43) |
Раскрыв скобки, получим: |
|
QОСТ :=yTy – bTFTy – yTFb + bTFTFb . |
(44) |
Так как размерность bT есть (l k), FT имеет размерность (k N), а у – (N 1), очевидно, что произведение bTFTy будет иметь размерность (1 1), т. е. будет скаляром. Транспонирование скалярной величины ничего не меняет, поэтому:
bTFTy = ( bTFTy )T = yTFb .
Принимая это во внимание, перепишем уравнение (44) так:
QОСТ = yTy – 2bTFTy + bTFTFb . |
(45) |
Из системы нормальных уравнений известно, что FTFb = FTy, |
|
следовательно, выражение (45) примет вид: |
|
QОСТ = yTy – bTFTy . |
(46) |
Обозначим среднее от результатов наблюдений как
|
1 |
N |
|
y |
y j . |
||
N |
|||
|
j 1 |
Тогда (46) можно будет записать [2,3] следующим образом:
Q=QОСТ + QR. |
|
(47) |
Здесь величина Q называется общей (или полной) суммой |
||
квадратов и вычисляется по формуле: |
|
|
N |
|
|
Q y j y 2 |
, |
(48) |
j1
аQR — суммой квадратов, обусловленной регрессией:
N |
|
QR yˆ j y 2 . |
(49) |
j1
Для доказательства эквивалентности (47) и (46) перепишем QОСТ из (46) в виде:
QОСТ = (yTy – N y 2 ) – (bTFTy – N y 2 ) . |
(50) |
Первый элемент в правой части (50) совпадает с Q, а второй – с
30
QR . Для доказательства нужно раскрыть скобки и преобразовать вы-
ражения (48) и (49).
Выражение (47) – основное уравнение дисперсионного анализа результатов.
В этом выражении общая сумма квадратов Q характеризует вариацию (разброс) наблюдаемых в эксперименте значений зависимой переменной относительно среднего значения. Из (48) видно, что с пол-
ной суммой Q связано = N – 1 степеней свободы, поскольку в нее входит N наблюдений, на которые наложена одна линейная связь y .
Сумма квадратов QR , обусловленная регрессией, определяет ту часть общей вариации зависимой переменной, которая объяснена построенным уравнением регрессии. Формула (49) показывает, что участвующая в QR величина yˆ j определяет k линейных связей между на-
блюдениями уj, так как в нее входят k оценок коэффициентов, определенных по тем же наблюдениям. Кроме того, y определяет одну ли-
нейную связь между ними, поэтому число степеней свободы для QR
равно: R = k – 1.
Остаточная сумма квадратов QОСТ отражает влияние всех тех причин рассеивания результатов у, которые не может объяснить регрессия. Как уже было отмечено, число степеней свободы этой суммы
равно: ОСТ = N — k. |
|
Легко проверить, что |
|
= R + ОСТ . |
(51) |
Общая сумма квадратов Q должна как можно больше обусловливаться изменениями объясняющих переменных.
Разложение общей суммы квадратов на две составляющие дает возможность оценить влияние на вариацию зависимой переменной объясняющих переменных и случайных возмущений.
Возмущающая переменная является результатом ошибки измерения и ошибки уравнения. Поэтому сумма квадратов представляет собой ту часть общей суммы квадратов Q, которая не объясняется функцией регрессии. Отсюда она и получила название «необъясненная», или остаточная, дисперсия. Она измеряет ту часть рассеяния у, которая возникает из-за случайностей и изменчивости прочих неучтенных в регрессионной модели факторов. Чем больше приближается к нулю, тем меньше эмпирические значения yj отклоняются от значений регрессии