Анализ данных в материаловедении. Часть 2. Регрессионный анализ. Учебное пособие
.pdf
6.3. Регрессионный анализ в программе EXCEL
Программа Excel предлагает несколько функций для расчета па- раметров регрессионных моделей. Пусть наблюдаемые значения не-
зависимой переменной x1, x2 , ..., xn записаны в интервале ячеек А1:Аn, а значения зависимой переменной y1, y2 , ..., yn – в ячейках
В1:Вn.
Функция КВАДРОТКЛ(А1:Аn) рассчитывает сумму квадратов отклонений множества величин x1, x2 , ..., xn от их среднего x .
Функция СУММКВРАЗН(А1:Аn;В1:Вn) рассчитывает сумму квадратов разностей xi − yi .
Функция ОТРЕЗОК(В1:Вn;А1:Аn) вычисляет свободный член b0 линейной модели Y = b0 + b1X.
Функция НАКЛОН(В1:Вn;А1:Аn) вычисляет коэффициент b1 той же линейной модели.
Функция СТОШYX(В1:Вn;А1:Аn) рассчитывает остаточное стан-
дартное отклонение se (6.6) линейной модели Y = b0 + b1X.
Функция ПРЕДСКАЗ(х;В1:Вn;А1:Аn) рассчитывает предсказан-
ное линейной моделью Y = b0 + b1X значение для произвольного ар- |
|||||||
гумента х. |
|
|
|
|
|
|
|
Функция |
ЛИНЕЙН |
вычисляет |
коэффициенты |
регрессии |
|||
b0 , b1, ..., bp |
общей линейной модели Y = b0 + b1X1 |
+ b2 X2 |
+ ...+ bp X p , |
||||
где |
X1, X2 , |
..., X p |
– независимые переменные (в частности, базис- |
||||
ные |
функции |
f1(X ), |
f2 (X ), ..., fp (X ) |
модели |
(6.3)). |
Функция |
|
ЛИНЕЙН дополнительно вычисляет характеристики модели: оста- точное стандартное отклонение se (6.6), ч.с.с. остаточной дисперсии νe (6.5), множественный коэффициент детерминации R2 (6.7), F- критерий значимости регрессии (6.9), стандартные ошибки коэффи-
циентов регрессии sbj (6.13). |
коэффициенты регрессии |
||
Функция |
ЛГРФПРИБЛ вычисляет |
||
b0 , b1, |
..., bp |
экспоненциальной модели |
Y = b0b1X1b2X2 ... bpX p , где |
X1, X |
2 , ..., X p |
– независимые переменные. Функция ЛГРФПРИБЛ |
|
дополнительно вычисляет те же статистические характеристики мо- дели, что и функция ЛИНЕЙН.
Функция ТЕНДЕНЦИЯ для произвольных значений аргументов
рассчитывает предсказание |
по |
общей линейной |
модели |
||||||||
Y = b0 + b1 X1 |
+ b2 X2 |
+ ... + bp |
Xp . |
|
|
||||||
Функция РОСТ для произвольных значений аргументов рас- |
|||||||||||
считывает |
|
|
предсказание |
|
по |
экспоненциальной |
модели |
||||
X |
X |
2 |
... b |
X p |
. |
|
|
|
|
||
Y = b b |
1b |
|
p |
|
|
|
|
|
|||
0 1 |
2 |
|
|
|
|
|
|
|
|
||
11
Можно также построить точечный график в координатах X – Y,
щелкнуть правой кнопкой мыши по одной из точек и в открывшемся контекстном меню выбрать «Добавить линию тренда». В открыв- шемся окне выбрать вид уравнения регрессии: линейное, полиноми- альное, экспоненциальное, логарифмическое, степенное. На графике добавится кривая регрессии. Дополнительно можно вывести на гра- фик само уравнение регрессии и значение множественного коэффи- циента детерминации R2.
12
7. ЛИНЕЙНАЯ РЕГРЕССИЯ
7.1. Линейная модель
Пусть имеется n наблюдений фактора Х и зависимой переменной
Y xi , yi |
(i = 1, 2, ..., n). Простейшая модель линейной регрессии – |
|
линейная модель с единственной базисной функцией |
f1(X ) = X |
|
|
Y = β0 + β1X . |
(7.1) |
Выбирая эту модель, исследователь проверяет гипотезу о том, что
между зависимой и независимой переменными существует линейная связь.
Для нахождения МНК оценок b0 и b1 необходимо минимизировать
сумму квадратов
n
S2 = å(yi - b0 - b1xi )2 ,
i=1
решив для этого систему
ì |
¶S |
2 |
|
ï |
|
|
|
ï |
|
|
= 0 |
ï |
¶b |
||
ï |
|
||
ï |
|
0 |
. |
í |
|
|
|
ïï |
¶S |
2 |
= 0 |
ï |
¶b |
||
ï |
|
||
îï |
|
1 |
|
Вычислив производные и проведя преобразования, получим систему линейных относительно b0 и b1 уравнений
ì |
|
|
æ |
n |
|
ö |
|
|
|
|
n |
|
|
|
|
ï |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
ï |
|
|
ç |
|
|
÷ |
|
|
å |
|
|
|
|||
ï |
|
|
çå |
÷ |
= |
y |
|
|
|||||||
ïnb |
+ç |
|
|
x ÷b |
|
|
|
|
|
|
|||||
ï |
0 |
|
ç |
|
|
i ÷ 1 |
|
|
|
|
|
|
i |
|
|
ï |
|
|
è i=1 |
|
ø |
|
|
|
i=1 |
|
|
|
|
||
í |
|
|
|
|
|
|
|
|
. |
(7.2) |
|||||
|
|
ö |
|
|
æ n |
|
|
|
|
ö |
|
|
|||
ïæ n |
|
|
|
|
|
|
|
|
|
n |
|
||||
ïç |
|
|
÷ |
|
|
ç |
|
x |
2 |
÷ |
|
= |
x y |
|
|
ïç |
|
|
x ÷b |
+ç |
|
|
÷b |
|
|||||||
ïçå i ÷ |
0 |
|
çå i |
÷ |
1 |
|
å i i |
|
|||||||
ïç |
|
|
÷ |
|
|
ç |
|
|
|
|
÷ |
|
|
i=1 |
|
îïè i=1 |
ø |
|
|
è i=1 |
|
|
|
ø |
|
|
|
||||
Решение системы (7.2) удобно представить в следующем виде^
13
n
å(xi - x)( yi - y)
b |
= |
i=1 |
|
|
|
, |
|
n |
|||||
1 |
|
|
|
|||
|
|
|
å(xi - |
|
)2 |
|
|
|
|
x |
|
||
|
|
|
i=1 |
|
||
или
b1 = sy rxy , sx
где sx и sy – выборочные стандартные отклонения (1.10) наблюдений хi и yi, а rxy – их выборочный парный коэффициент корреляции (5.4), и
b0 = y - b1x .
Остаточное стандартное отклонение линейной модели
|
1 |
n |
|
|
|
|
|
s = |
å |
(y |
- b |
- b x )2 |
, |
||
|
|||||||
|
|||||||
e |
n- 2 |
i |
0 |
1 i |
|
||
|
|
|
|
|
|||
|
|
i=1 |
|
|
|
|
а стандартные ошибки коэффициентов регрессии
|
n |
|
|
|
|
|
|
|
|
|
å |
x2 |
|
|
|
|
|
|
|||
|
|
i |
|
|
se |
|
||||
sb0 = se |
i=1 |
|
|
|
, |
sb1 = |
. |
|||
n |
|
|
|
n |
||||||
|
nå(xi - |
|
|
|
|
|
||||
|
|
)2 |
|
|
å(xi - |
|
)2 |
|
||
x |
|
|
|
|||||||
|
|
|
x |
|
||||||
i=1 |
i=1 |
|
После расчета коэффициентов b0 и b1 уравнение регрессии |
|
||||||||||
Y = b0 + b1 X |
(7.3) |
||||||||||
можно также записать в форме |
|
|
|
|
|
|
|||||
Y = |
|
|
|
+ b1(X - |
|
) , |
|
|
(7.4) |
||
y |
x |
||||||||||
или |
|
|
|
|
|
|
|||||
Y = |
|
+ |
sy |
r (X - |
|
) . |
|
||||
y |
x |
|
|||||||||
|
|
||||||||||
|
|
|
|
|
sx |
xy |
|
||||
14
Пример 7.1. Измерены значения предела прочности σB (МПа)
нержавеющей стали в зависимости от диаметра заготовки d (мм). По- строить линейную регрессионную модель, оценить качество модели. Исходные данные приведены в табл. 7.1.
Решение
|
|
|
|
Таблица 7.1 |
|
|
|
|
|
|
|
|
B |
C |
|
D |
|
4 |
|
σΒ |
d |
||
|
|
610 |
|
4,5 |
|
5 |
|
|
|
||
6 |
|
595 |
|
4,8 |
|
7 |
|
605 |
|
5,1 |
|
8 |
|
590 |
|
4,9 |
|
9 |
|
585 |
|
5,3 |
|
|
|
570 |
|
5,1 |
|
10 |
|
|
|
||
|
|
575 |
|
4,9 |
|
11 |
|
|
|
||
12 |
|
625 |
|
4,6 |
|
13 |
|
610 |
|
4,7 |
|
14 |
|
575 |
|
5,2 |
|
15 |
|
595 |
|
5,0 |
|
|
|
615 |
|
4,8 |
|
16 |
|
|
|
||
|
|
|
|
|
|
17 |
|
|
|
|
|
18 |
Среднее |
595,833 |
|
4,908 |
|
19 |
Стандартное отклонение |
17,559 |
|
0,243 |
|
20 |
Данных |
12 |
|
|
|
Предварительно рассчитаем в ячейках С18:D18 средние значения свойства и фактора функцией “=СРЗНАЧ(C5:C16)”, в ячейках С19:D19 – стандартные отклонения: “ =СТАНДОТКЛОН(C5:C16)”. В ячейке С20 – количество данных: “=СЧЁТ(C5:C16)”.
Для расчета коэффициентов регрессии и характеристик модели вос- пользуемся функцией ЛИНЕЙН. Функция “ЛИНЕЙН(C5:C16;D5:D16;;1)” вводится в диапазон ячеек C23:D26 (табл. 7.2) как формула массива. Выделим диапазон ячеек C23:D26, далее из меню «Вставка» вызовем функцию ЛИНЕЙН и заполним поля ее аргументов: «Известные зна- чения у» – С5:С16, «Известные значения х» – D5:D16, поле «Конст» оставляем незаполненным, в поле «Статистика» записываем 1. Далее вместо «OK» одновременно нажимаем клавиши Ctrl+Shift+Enter.
Функция ЛИНЕЙН возвращает:
15
коэффициент регрессии b1 – ячейка С23, коэффициент регрессии b0 – ячейка D23,
стандартные ошибки коэффициентов регрессии sbj (6.13) – ячейки
C24:D24,
множественный коэффициент детерминации R2 (6.7) – ячейка С25, остаточное стандартное отклонение se (6.6) – ячейка D25, F-критерий значимости регрессии (6.9) – ячейка С26,
число степеней свободы остаточной дисперсии νe (6.5) – ячейка
D26.
|
|
|
|
|
|
Таблица. 7.2 |
|
|
|
|
|
|
|
|
|
|
|
B |
|
C |
|
D |
|
|
|
|
|
|
|
||
22 |
|
|
|
b1 |
b0 |
||
23 |
|
Коэффициент регрессии |
-50,963 |
|
845,976 |
|
|
24 |
|
Стандартная ошибка коэффициента регрессии |
16,2094 |
|
79,6504 |
|
|
25 |
|
R2 и остаточное стандартное отклонение |
|
0,4971 |
|
13,06005 |
|
26 |
|
F и ч.с.с. остаточной дисперсии |
|
9,8849 |
|
10 |
|
27 |
|
|
|
|
|
|
|
|
|
t-критерий коэффициента регрессии |
|
|
|
|
|
28 |
|
-3,1440 |
|
10,6211 |
|
||
29 |
|
Уровень значимости t-критерия |
0,0104 |
|
0,0000 |
|
|
30 |
|
|
|
|
|
|
|
31 |
|
Множественный коэффициент корреляции R |
0,7051 |
|
|
|
|
32 |
|
Ч.с.с. дисперсии модели |
1 |
|
|
||
33 |
|
Уровень значимости F-критерия |
0,0104 |
|
|
|
|
|
|
|
|
|
|
|
|
34 |
|
|
|
|
|
|
|
|
|
Минимальный стандартизованный остаток |
-1,707 |
|
|
|
|
35 |
|
|
|
|
|||
36 |
|
Максимальный стандартизованный остаток |
1,521 |
|
|
||
В ячейках С28:D28 рассчитаем t-критерии коэффициентов регрессии (6.14) формулой “=C23/C24”, в ячейках С29:D29 – уровни значимости t-
критериев (риски α(t)) функцией “=СТЬЮДРАСП(ABS(C28);$D$26;2)”.
Далее в ячейке С31 рассчитаем множественный коэффициент корреляции R (6.8) формулой “=КОРЕНЬ(C25)”, в ячейке С32 рассчитаем число степеней
свободы дисперсии модели νr (6.11) функцией “=C20-D26-1”. Ч.с.с νr необ- ходимо для расчета уровня значимости F-критерия значимости регрессии. Наконец, в ячейке С33 вычислим функцией “=FРАСП(C26;C32;D26)” уро- вень значимости α(F) (6.12) F-критерия значимостирегрессии.
Далее в ячейках Е5:Е16 рассчитаем предсказанные линейной мо- делью (7.3) значения Yi формулой “=$D$23+$C$23*D5” и в ячейках
16
F5:F16 вычислим остатки ei (6.15) формулой “=C5-E5” (табл. 7.3).
Следующие два столбца табл. 7.3 нужны для построения нормально- го вероятностного графика. В ячейках G5:G16 функцией “=РАНГ(F5;F$5:F$16;1)” вычислим ранг остатка, а в ячейках Н5:Н16 рассчитаем квантили нормального распределения (6.16) функцией
“=НОРМОБР((3*G5-1)/(3*$C$20+1); $F$18;$F$19)/$F$19”, предвари-
тельно вычислив в ячейке F18 среднее значение остатков функцией “=СРЗНАЧ(F5:F16)” а в ячейке F19 – стандартное отклонение остат- ков (6.17) функцией “=СТАНДОТКЛОН(F5:F16)”.
|
|
B |
C |
D |
E |
|
F |
|
|
G |
|
|
|
|
|
|
|
|
Оста- |
|
Ранг |
||
|
|
|
σΒ |
d |
Модель |
|
|
остат- |
|||
|
|
|
|
|
|
|
ток |
|
ка |
||
|
4 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
|
610 |
4,5 |
616,6 |
-6,6 |
3 |
||||
|
|
595 |
4,8 |
601,4 |
-6,4 |
4 |
|||||
|
6 |
|
|||||||||
|
|
605 |
5,1 |
586,1 |
18,9 |
12 |
|
||||
|
7 |
|
|
||||||||
|
8 |
|
590 |
4,9 |
596,3 |
-6,3 |
5 |
||||
|
9 |
|
585 |
5,3 |
575,9 |
9,1 |
|
9 |
|
||
|
10 |
|
570 |
5,1 |
586,1 |
-16,1 |
|
2 |
|
||
|
11 |
|
575 |
4,9 |
596,3 |
-21,3 |
|
1 |
|
||
|
|
625 |
4,6 |
611,5 |
13,5 |
10 |
|
||||
|
12 |
|
|
||||||||
|
|
610 |
4,7 |
606,5 |
3,5 |
|
7 |
|
|||
|
13 |
|
|
|
|||||||
|
14 |
|
575 |
5,2 |
581,0 |
-6,0 |
6 |
||||
|
15 |
|
595 |
5 |
591,2 |
3,8 |
8 |
|
|||
|
16 |
|
615 |
4,8 |
601,4 |
13,6 |
11 |
|
|||
|
17 |
|
|
|
|
|
|
|
|
|
|
18Среднее 595,833 4,908 595,833 0,000
Стандарт- ное откло-
19нение 17,559 0,243 12,380 12,452
20Данных 12
Таблица 7.3
H
Квантиль нормально- го распре-
деления
-0,785 -0,532 1,607 -0,310 0,532 -1,102 -1,607 0,785 0,102 -0,102 0,310 1,102
Окончательно в ячейках С35 и С36 (см. табл. 7.2) рассчитаем ми-
нимальный и максимальный стандартизованные остатки функциями
“=МИН(F5:F16)/F19” и “=МАКС(F5:F16)/F19” соответственно. Так-
же построим точечный график зависимости предела прочности от диаметра заготовки с нанесенной на него прямой регрессии (рис. 7.1). Для анализа остатков построим график зависимости остат-
17
ков от значений фактора (рис. 7.2) и нормальный вероятностный |
|||||||
график остатков (рис. 7.3). |
|
|
|
|
|
||
|
630 |
|
|
|
|
|
|
|
620 |
|
|
|
|
|
|
|
610 |
|
|
|
|
|
|
В |
600 |
|
|
|
|
|
|
σ |
|
|
|
|
|
|
|
|
590 |
|
|
|
|
|
|
|
580 |
|
|
|
|
|
|
|
570 |
|
|
|
|
|
|
|
560 |
|
|
|
|
|
|
|
4,4 |
4,6 |
4,8 |
d |
5,0 |
5,2 |
5,4 |
Рис. 7.1. Зависимость предела прочности от диаметра заготовки |
|||||||
Остатки
25 |
|
|
|
|
|
20 |
|
|
|
|
|
15 |
|
|
|
|
|
10 |
|
|
|
|
|
5 |
|
|
|
|
|
0 |
|
|
|
|
|
–5 |
|
|
|
|
|
–10 |
|
|
|
|
|
–15 |
|
|
|
|
|
–20 |
|
|
|
|
|
–25 |
|
|
|
|
|
4,4 |
4,6 |
4,8 d |
5,0 |
5,2 |
5,4 |
Рис. 7.2. Зависимость фактор – остатки
Анализ результатов. Построена линейная регрессионная модель зависимости предела прочности нержавеющей стали от диаметра за- готовки:
σB = 846,0- 51,0d .
18
Квантили нормального распределения
2,0 |
|
|
|
|
|
|
1,5 |
|
|
|
|
|
|
1,0 |
|
|
|
|
|
|
0,5 |
|
|
|
|
|
|
0,0 |
|
|
|
|
|
|
–0,5 |
|
|
|
|
|
|
–1,0 |
|
|
|
|
|
|
–1,5 |
|
|
|
|
|
|
–2,0 |
|
|
|
|
|
|
–30 |
–20 |
–10 |
0 |
10 |
20 |
30 |
Остатки
Рис. 7.3. Нормальный вероятностный график остатков
Коэффициент корреляции между наблюдаемыми и предсказанными моделью значениями R = 0,705. Модель описывает зависимость зна- чимо лучше, чем среднее σВ . Коэффициент регрессии b1 = 51,0 зна- чимо отличается от нуля. Зависимость остатков от значений факто- ра – случайная; видимые закономерности отсутствуют. Максималь- ные и минимальные значения остатков не являются выбросами. Точ-
ки на нормальном вероятностном графике остатков не отклоняются систематически от прямой. Гипотеза нормального распределения остатков не отвергается, метод наименьших квадратов применен корректно.
Замечание. В линейной модели (7.3) значимость коэффициента регрессии b1 автоматически означает значимость регрессии, поэтому уровень значимости t-критерия коэффициента b1 и уровень значимо- сти F-критерия значимости регрессии совпадают.
Задание для самостоятельной работы
Удалить из рабочего листа строку с минимальным значением фак- тора, убедиться, что это наблюдение не является влияющим. Анало- гично проверить наблюдение с максимальным значением фактора.
19
7.2. Общая модель линейной регрессии
Модель линейной регрессии в общем виде
Y =β0 +β1 f1(X ) +β2 f2 (X ) + ... +βp fp (X ) ,
где оцениваемые коэффициенты регрессии β0 ,β1, ...,βp не являются аргументами ни одной из базисных функций f j (X ) . Оценки b0 , b1, ..., bp коэффициентов β0 ,β1, ...,βp получаются, как и для ли- нейной модели, из условия минимума суммы квадратов отклоне-
ний (6.2)
|
|
|
n |
æ |
p |
ö2 |
|
S |
2 |
= |
|
ç |
- b f |
÷ |
, |
|
|
ç y |
(x )÷ |
||||
|
|
|
åç i |
å j j |
÷ |
|
|
|
|
|
i ÷ |
|
|||
|
|
|
i=1 |
ç |
j=0 |
÷ |
|
|
|
|
è |
ø |
|
||
где для единства записи введено f0 |
(X ) =1 для любого Х. Обозначим |
|||||||
fj (xi ) = fij . В каждом конкретном расчете fij – число, так как все |
||||||||
функции f j (X ) |
определены и не содержат неизвестных параметров. |
|||||||
Условие минимума S2 |
|
|
|
|
|
|||
|
|
|
ì |
|
2 |
|
|
|
|
|
|
ï |
¶S |
|
|
|
|
|
|
|
ï |
|
= 0 |
|
|
|
|
|
|
ï |
¶b |
|
|
||
|
|
|
ï |
|
|
|
||
|
|
|
ï |
|
0 |
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
í... |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
¶S |
2 |
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
|
|
= 0 |
|
|
|
|
|
ï |
¶bp |
|
|
||
|
|
|
ï |
|
|
|
||
|
|
|
îï |
|
|
|
|
|
порождает систему p +1 линейных относительно b0 , b1, |
..., bp |
|||||||
уравнений |
|
|
|
|
|
|
|
|
ï |
n |
|
n |
|
|
n |
n |
|
ì |
|
|
|
|
||||
ï |
å fi0 |
fi0 + b1å fi1 fi0 + ... |
+bp å fip |
fi0 = å yi fi0 |
|
|||
ïïb0 |
|
|||||||
ï |
i=1 |
|
i=1 |
|
|
i=1 |
i=1 |
|
ï |
|
|
|
|
||||
ï |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï... |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
n |
|
n |
|
|
n |
n |
|
ï |
|
|
|
|
||||
ï |
å fi0 |
fij |
+ b1å fi1 fij + ... |
+bp å fip fij = å yi fij . |
(7.5) |
|||
ïíb0 |
||||||||
ï |
i=1 |
|
i=1 |
|
|
i=1 |
i=1 |
|
ï |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï... |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
|
|
|
|
|
|
|
|
ï |
n |
|
n |
|
|
n |
n |
|
ï |
|
|
|
|
||||
ï |
å fi0 |
fip |
+ b1å fi1 fip + ... |
+bp å fip |
fip = å yi fip |
|
||
ïïb0 |
|
|||||||
îï |
i=1 |
|
i=1 |
|
|
i=1 |
i=1 |
|
20
