Обработка данных / [SHashkov_V.B.]_Obrabotka_yeksperimentalnueh_dannu(BookFi.org)
.pdf
Этот результат есть транспонированная матрица F, т.е. FT. Таким обра-
зом, правая часть системы уравнений (28) есть произведение yg FT и вся
система нормальных уравнений может быть представлена матричным уравнением
bM = FT yg ,
откуда следует |
|
b = M −1(FT yg ) =(FT F)−1(FT yg ). |
(31) |
Это уравнение называется основным уравнением процедуры регресси - онного анализа. Из уравнения следует, что решение задачи регрессии определяется видом матрицы F и вектором yg.
Нахождение вектора коэффициентов в, т.е. получение уравнения регрессии, и составляет первую часть процедуры регрессионного анализа. После нахождения полинома регрессии следует оценить адекватность его функции истинного отклика, т.е. точность, с которой уравнение регрессии отражает таблицу экспериментальных данных. Решение этой задачи составляет вторую часть процедуры регрессионного анализа.
10.2 Коэффициенты регрессии b как статистические оценки и их
свойства
Вектор откликов объекта исследования yg есть случайная величина в связи с действием неучтенных в эксперименте факторов. Вектор коэффици-
ентов регрессии b связан с вектором yg линейно, и в силу этого имеет тот
же случайный характер с тем же законом распределения. Случайной величиной являются и расчетные значения yrg по уравнению регрессии.
В работе /1/ показано, что решение системы нормальных уравнений по
формуле Крамера позволяет сделать вывод, что значения коэффициентов b зависит от количества членов уравнения регрессии, т.е. все коэффициенты являются взаимозависимыми случайными величинами. В уравнении могут быть коэффициенты, значения которых близки нулю. Тем не менее, просто исключать их из уравнения нельзя; нужно делать полностью новый расчет для другой формы полинома регрессии, т.е. без членов, близких нулю. При этом значения всех сохраненных коэффициентов меняются. Другими словами, возможна группа разных полиномов с приблизительно одинаковыми ха-
рактеристиками точности для одной таблицы данных, т.е. само значение j-го коэффициента b неопределенно и не имеет физического смысла, отражающего сущность объекта исследования. Отсюда следует, что уравнение регрессии следует трактовать только как некую интерполяционную формулу, позво-
51
ляющую предсказывать значение отклика объекта в факторном пространстве без дополнительного опыта.
Тем не менее, всегда нужно иметь в виду, что полином регрессии может совпасть с содержательной физико-математической моделью объекта исследования. Это обычно сразу резко повышает информационную ценность регрессионной модели объекта исследования. Приведем только один пример такого совпадения для уравнения пути, пройденного свободно падающим те-
лом: |
s |
= s |
+v t + |
gt 2 |
, |
|
|||||
|
t |
0 |
0 |
2 |
|
|
|
|
|
|
которое по форме точно воспроизводится уравнением регрессии
y =b0 +b1x +b2x2 ,
Этот полином позволяет по экспериментальным данным рассчитать ускорение свободного падения для данной географической зоны по соотно-
шению b2 = g2 .
Введем уравнение (31) под символ математического ожидания и полу-
чим
M{}b =(FT ×F)−1 ×M {FT ×yg ,
поскольку величина (FT ×F)−1 есть константа. Но произведение
n
F T × yg есть ∑ f (xg )× yg ,
g=1
где f (xg )- соответствующий столбец матрицы базисных функций F.
Тогда
{} |
|
|
|
|
|
∑ |
|
|
g |
|
|
|
|
g |
|
|
|
|
||||||
M |
b |
=(FT ×F)−1 × |
n f (x |
|
|
)×M{y |
|
}. |
|
|
(32) |
|||||||||||||
{ |
g } |
g=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Поскольку M y |
=η( |
|
, |
|
) = f T ( |
|
)× |
|
, постольку |
|
||||||||||||||
x |
β |
x |
β |
|
||||||||||||||||||||
{} |
|
|
|
|
|
∑ |
g |
|
|
|
|
|
|
|
|
|
|
|||||||
M |
b |
=(FT ×F)−1 × |
n f (x |
|
|
|
)× f T ( |
x |
)× |
β |
. |
|
||||||||||||
g=1
Но
52
|
|
|
|
n |
T |
|
|
|
|
|
||
|
(x), |
|||||||||||
|
|
|
(FT ×F) = ∑ f (xg )× f |
|
||||||||
|
|
|
|
g=1 |
|
|
|
|
|
|
||
|
поэтому |
|
|
|
|
|
|
|||||
|
{} |
|
|
|
|
|
|
|
|
|
||
|
M |
b |
=(FT ×F)−1 ×(F T ×F)× |
β |
, |
|||||||
т.е. |
|
{} |
|
|
|
(33) |
||||||
|
|
|||||||||||
|
|
M b =β . |
|
|||||||||
Таким образом, математическое ожидание статистической оценки b равно самой оцениваемой величине, из чего следует, что b есть несмещенная
оценка β. Оценки b являются и состоятельными, т.к. отвечают условию |
|
||||||||
Pn→∞ ( |
|
− |
|
)T (b |
− |
|
)≤ε |
=1, |
|
b |
β |
β |
(34) |
||||||
|
|
|
|
|
|
|
|
|
|
где ε - сколь угодно малая величина.
Не приводя строгого математического доказательства состоятельности оценок, отметим только известное положение о том, что точность полиномов регрессии возрастает с увеличением степени, т.е. количества коэффициентов
b в уравнении. Поэтому с ростом числа n значение b стремится к β и произведение в уравнении (34) уменьшается, с вероятностью Р становясь меньше величины ε.
53
11 Лекция 11. Дисперсия и корреляционные моменты коэффициентов регрессии
Степень случайности и неопределенности значений коэффициентов регрессии b, как и обычно для случайной величины, может быть охарактеризована рассеиванием значений вокруг среднего, т.е. дисперсией и корреля –
ционным моментом µ11{bjbk} ( корреляционная связь характерна только
для случайных величин). Рассмотрим эти характеристики величины b. Для отдельного коэффициента регрессии можно записать
σ |
{ |
j |
−Mb |
j |
)×(b |
j |
−Mb |
j } |
|
|
||||||||
2 =M |
(b |
|
|
|
) |
. |
(35) |
|||||||||||
В силу равенства (33) следует |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
σ |
2 =M |
(b |
j |
−β |
j |
)×(b |
j |
−β |
) |
, |
|
|
(36) |
|||||
|
{ |
|
|
|
|
|
|
|
|
j } |
|
|
|
|
||||
а для второго смешанного центрального момента |
|
|
|
|
||||||||||||||
µ |
b b |
=M (b |
j |
−β |
j |
)×(b −β |
) . |
(37) |
||||||||||
11{ j k |
} |
|
{ |
|
|
|
|
|
|
k |
|
|
k } |
|
||||
Поскольку каждый коэффициент регрессии есть случайная величина, постольку мы имеем дело с векторами
b1,b2,b3,....,b12,...,b123,...,
т.е. общий вектор b будет иметь вид
b =(b0,b1,b3,...,b12,...,bk )
(к+1) – мерного вектора. Дисперсия такого вектора будет характеризоваться дисперсионной матрицей размером (к+1)×(к+1). Обозначим эту матрицу
как D{b , где D - символ дисперсии. Тогда по аналогии с уравнением (35), справедливого для одного коэффициента, для всего вектора коэффициентов
будем иметь |
{} |
{ |
|
|
)×( |
|
|
|
)T |
} |
|
|
|||
|
D |
|
=M ( |
|
− |
|
|
− |
|
|
|
|
|||
|
b |
b |
β |
b |
β |
|
. |
(38) |
|||||||
Таким образом, уравнения (35), (36) и (37) относятся к отдельным единичным коэффициентам регрессии, а уравнение (38) – ко всем вместе.
54
В работе /3/ показано, что статистические оценки b на множестве всех
≈
других линейных несмещенных оценок b обладает наименьшей дисперсион-
≈
ной матрицей, т.е. всегда справедливо, что D{b}≤D{b}, а это есть условие
эффективности оценок.
Таким образом, возвращаясь к предыдущему разделу, можем констатировать, что коэффициенты регрессии являются состоятельными, несмещенными и эффективными оценками истинных коэффициентов рег-
рессии β .
Уравнение (38) после перемножения векторов расписывается в дисперсионную корреляционную матрицу, на главной диагонали которой находятся дисперсии коэффициентов регрессии, а остальные элементы матрицы суть парные корреляционные моменты коэффициентов (см. таблицу 5; в таблицу вписаны не все элементы матрицы).
Наличие величин µ11{bibj }показывает, что коэффициенты регрессии
являются зависимыми друг от друга случайными величинами, а значение µ11{bibj }показывает силу стохастической связи между ними.
Если в уравнение (31)
b = M −1(FT yg ) =(FT F)−1(FT yg )
вместо величины yg подставить M{yg}, то справедливо
|
|
|
|
|
|
|
|
β |
=(FT F)−1(FT M{ |
yg |
}). |
|
|
(39) |
|||||||
|
|
|
|
|
|
|
D |
|
|
|
|
|
|||||||||
|
|
|
Таблица 5 – Дисперсионная матрица |
b |
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
{} |
|
|
|
|||
σ |
2 |
{0} |
|
µ b b |
µ b b |
|
|
|
|
|
|
|
|
µ b b |
|||||||
|
|
|
11{0 1} |
11{0 2} |
|
|
|
|
|
|
|
11{0 |
k } |
||||||||
|
|
b |
|
|
|
|
|
|
|
|
|
|
…. |
|
|
|
|
…. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
µ |
|
b b |
} |
σ |
2 |
{1} |
µ |
b b |
} |
|
|
|
|
|
|
|
|
|
|||
11{ |
1 0 |
|
|
11{1 2 |
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
b |
|
|
|
…. |
|
|
|
|
…. |
…. |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σ |
2 b |
|
|
|
|
|
|
|
|
|
|
…. |
|
|
|
…. |
|
|
|
|
{2} |
|
…. |
|
|
|
|
…. |
…. |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
µ |
|
b b |
µ |
b b |
} |
σ 2 |
{i } |
|
|
|
||||||
|
|
|
|
|
11{i 1} |
11{i 2 |
|
|
|
|
|
||||||||||
…. |
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
…. |
…. |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
55
|
µ |
b b |
|
|
|
|
|
…. |
11{i +1 1} |
…. |
…. |
…. |
…. |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
µ b b |
|
|
|
|
|
σ 2 |
b |
11{k 0 |
|
|
|
|
|
|
|
…. |
|
…. |
…. |
…. |
|
{k } |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
Выражения (31) и (39) для b и β подставим в уравнение (38) и вынесем величину (FT F)−1 за скобки. Получим
D{b}= M{[(FT F)−1FT (y −M{yg })]×
×[(y −M{yg })T F(FT F)−1]},
что приводит к результату
D{b}=(FT F)−1FT M{(y −M{yg })(y −M{yg})T}×F(FT F)−1. (40)
Величина (y −M{yg}) это вектор ошибок в экспериментальном определении значения yg, т.е.
(y −M{yg})T = 
(y1 −My1),(y2 −My2 ),...,(yn −Myn )
,
а вектор (y −M{yg}) будет аналогичным вектором-столбцом. Обозначим
этот вектор как ϖ и рассмотрим произведение в выражении М{ϖ×ϖT}. Оно будет матрицей, элементы которой будут состоять из произведений типа
(y1-M{y1})2 и (y1-M{y1}) (y2-M{y2}). Но мы имеем не просто произве-
дения, а произведения под символом математического ожидания, например,
М{(y1-M{y1})(y2-M{y2})}.
Поэтому эти произведения есть либо дисперсия массива величины y1 на первой (или вообще на g- строке), т. е. дисперсия воспроизводимости, либо второй смешанный центральный момент величин y1 и y2 (или вообще вели-
чин yk и yq). Значения дисперсий будут располагаться на главной диагонали матрицы, а остальные элементы матрицы будут заполнены моментами
µ11{bibj }. Таким образом, структура
M{(y −M{yg })(y −M{yg})T}
56
или М{ϖ×ϖT} будет дисперсионной матрицей наблюдений эксперимен-
та. Согласно условиям процедуры регрессионного анализа, во-первых, дисперсии воспроизводимости на разных строках таблицы эксперимен-
тальных данных равны, поэтому выносим их за матрицу. Во-вторых, результаты наблюдений yg на разных строках таблицы независимы, и поэтому смешанные центральные моменты типа М{(y1-M{y1}) (y2-M{y2})} будут равны нулю. Таким образом, после вынесения дисперсии σvos2 за пределы
матрицы, последняя превращается в единичную матрицу Е, и
M{(y −M{yg })(y −M{yg})T}= Еσvos2 .
Теперь выражение (40) приобретает вид
D{b}=(FT F)−1FT F(FT F)−1σvos2 .
Первые три множителя являются единичной матрицей, поэтому полу-
чаем
D{ |
|
}=(FT F)−1σvos2 = M −1σvos2 =Cσvos2 , |
|
b |
(41) |
где М-1 – матрица моментов; С - обратная матрица.
Уравнение (41) относится ко всему вектору коэффициентов регрессии,
а для отдельных коэффициентов справедливо: |
|
|
|
|
||||
- |
для диагональных элементов σ |
2 b |
j } |
=C σ2 |
, |
(42) |
||
|
|
|
{ |
|
jj vos |
|
|
|
- |
для остальных элементов |
µ |
b b |
=C σ2 . |
(43) |
|||
|
|
11{ |
j q } |
jq |
vos |
|
||
57
12 Лекция 12. Показатели качества уравнений регрессии
12.1 Остаточная дисперсия полинома регрессии
Согласие между экспериментальными значениями отклика yg и вычисленными по найденному уравнению регрессии значениям отклика yrg в общем случае оценивают не по значению остаточной суммы SUMost (26), а по
так называемой остаточной дисперсии уравнения регрессии , которая обо-
значается как S |
2 |
: |
|
|
|
|
|
|
|
|
|
|
|
ost |
|
|
|
|
n |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
−yr |
|
|
||
|
|
|
|
SUM ost |
|
∑ |
y |
|
|
|
|
|
|
|
S2 |
= |
= |
g =1 |
g |
g |
, |
(44) |
|||
|
|
|
|
|
|
|
||||||
|
|
ost |
|
n−(k +1) |
n−(k +1) |
|
|
|
||||
где (к+1) - количество коэффициентов b в уравнении регрессии (имеется в виду вектор коэффициентов b в виде вектора
b1,b2 ,b3,....,bi,...,bk ),
n – число строк в таблице экспериментальных данных.
Таким образом, в числителе уравнения (44) находится остаточная сум-
ма Sos2 t , а в знаменателе – число степеней свободы системы.
Как было показано выше, величина yrg есть оценка М{yg }, поэтому переменная Sos2 t по своему содержанию является суммарной характеристи-
кой отклонения текущих значений случайной величины от среднего, т.е. именно дисперсией. Таким образом, остаточная дисперсия характеризует рассеивание наблюдений относительно оценки математической модели
η(x,b) =η(x,β).
Остаточная дисперсия является случайной величиной, так как она есть функция случайных величин yg и yrg, т.е. она имеет свое математическое ожидание и свою дисперсию. Можно показать, что
M {Sost2 }=σvos2 ,
т.е. что Sos2 t есть несмещенная оценка дисперсии воспроизводимости.
58
Остаточная дисперсия Sos2 t так же, как и дисперсия воспроизводим-
сти σvos2 , является мерой ошибки всей предшествующей процедуры обра-
ботки данных, но теперь, в отличие от σvos2 , эта ошибка имеет два источни-
ка. Во-первых, как и σvos2 , содержит ошибку экспериментального определе-
ния значения yg. Во-вторых, она содержит ошибку расчетного определения значения yrg, т.е. ошибку уравнения регрессии. Таким образом, соотношение
значений σ2vos и S2ost может иметь два результата. Если полином регрессии имеет ошибку, остаточная дисперсия будет больше дисперсии воспроизводимости, причем чем больше ошибка уравнения, тем больше разница между
σvos2 и Sos2 t . Если же полином регрессии η(x,b) адекватен функции ис-
тинного отклика ϕ(х), т.е. ошибка уравнения отсутствует и Sos2 t =σvos2 . Та-
ким образом, сопоставление этих дисперсий позволяет оценить точ-
ность полученного уравнения. Поскольку обе эти переменные являются случайными величинами, сравнивать их нужно не по фактическим единичным значениям, а с учетом рассеяния и с использованием интервальных оценок, что позволяет установить – значимо ли статистически различие между сравниваемыми величинами. Эта значимость проверяется по критерию Фишера F-распределения /3/, т.е. ошибка уравнения признается значимой, если
S 2 |
F |
|
|
ost |
, |
(45) |
|
|
|||
σ 2 |
1−p |
|
|
vos |
|
|
|
где F1− p - значение табличного квантиля распределения Фишера при
принятой вероятности р и степенях свободы m1=n-(k+1), m2= ∞; (k+1) – количество коэффициентов регрессии в полиноме.
Для учебных расчетов при р=0,95 и n=50 критической границей доверительного интервала ориентировочно можно считать F1− p =1,5. Если отно-
шение (45) равно либо меньше 1,5– дисперсии статистически неразличимы, т.е. их можно считать находящимися в одном доверительном интервале, а по-
лином - адекватным функции истинного отклика ϕ(х). Факт статистической
незначимости различия между S |
2 |
и σ 2 |
является абсолютным показа- |
|
ost |
vos |
|
телем точности найденного уравнения регрессии, т.е. того факта, что найден-
59
ное уравнение следует принять " в эксплуатацию". Если условие (45) соблюдается, уравнение имеет ошибку и необходимо взвесить – приемлем ли уровень этой ошибки или нужно искать другое уравнение.
Оценку точности уравнения регрессии по условию (45) можно осуществить только при известном значении дисперсии воспроизводимости. Если
σvos2 неизвестна, приходится прибегать к сравнительным критериям качества
для нескольких альтернативных полиномов с выбором наиболее точного.
В этом случае статистическую значимость различия дисперсий альтернативных полиномов проводят по условию
Sost2 |
−1 F |
, |
|
Sost2 |
|
1− p |
|
−2 |
|
||
где цифровой индекс есть номер уравнения, а в числителе ставится большая по значению дисперсия.
Использование Sos2 t имеет место и при определении дисперсии ко-
эффициентов регрессии по уравнениям (42,43). Если σvos2 неизвестна, ис-
пользуют аналоги этих уравнений, принимая вместо σvos2 ее оценку Sos2 t :
|
D{ |
|
}=(FT F)−1S2 |
= M −1S2 |
|
=CS2 |
|
|
|
|
|||||
|
b |
|
|
, |
|
|
|||||||||
|
|
|
ost |
|
ost |
|
|
|
ost |
|
|
|
|
||
- |
для диагональных элементов σ |
2 b |
} |
=C |
jj |
S2 |
|
, |
|
||||||
|
|
|
|
|
{ j |
|
|
|
ost |
|
|
||||
- |
для остальных элементов |
µ |
b |
b |
=C |
jq |
S |
2 . |
|||||||
|
|
|
|
11{ j |
|
q } |
|
|
|
|
ost |
||||
Чем больше по значению эти величины, тем хуже уравнение. Они могут быть использованы для сравнения качества альтернативных уравнений. В
предельном случае – при идеальной модели η(x,β) эти показатели равны нулю.
12.2 Показатель силы стохастической связи уравнения регрессии
Рассмотрим дисперсию вектора yg. Поскольку этот вектор по своему содержанию является выборкой, дисперсия вектора yg будет равна
60
