Анализ данных в материаловедении. Часть 2. Регрессионный анализ. Учебное пособие

10. МНОЖЕСТВЕННАЯ РЕГРЕССИЯ

Часто требуется построить регрессионную модель зависимости свойства сразу от нескольких факторов. Такая регрессия называется множественной. Если множественная регрессия линейная, то ее мо- дель – общая модель линейной регрессии. В системе линейных урав-

дели множественной линейной регрессии выполняется, как и расчет коэффициентов однофакторной модели, по формуле (7.6), например той же функцией ЛИНЕЙН.

В данных производственного контроля факторы – параметры тех- нологического процесса – обычно изменяются в узких границах, по- этому для регрессии выбираются наиболее простые базисные функ- ции – значения самих факторов:

fj (X (1) , X (2) , ..., X ( p) ) = X ( j) .

Следствием такого выбора базисных функций является линейная мо-

дель множественной регрессии

Коэффициент регрессии этой модели bj показывает, на сколько еди-

ниц измерения изменится свойство Y, если фактор X ( j) увеличится на одну свою единицу измерения, а остальные факторы не изменятся.

Дополнительно можно рассчитать безразмерный коэффициент

где sj – стандартное отклонение j-го фактора, sY – стандартное откло- нение свойства Y. Коэффициент bj показывает, на сколько собствен-

ных стандартных отклонений изменится свойство, если фактор X ( j) увеличится на одно свое стандартное отклонение, а остальные фак-

торы не изменятся. Безразмерные коэффициенты bj характеризуют относительную силу влияния факторов.

71

Иногда в модель (10.1) включаются дополнительные базисные функции – комбинации реальных факторов, – которые, по опыту специалистов в предметной области, влияют на свойство. Например, кроме параметров химического состава Mn и S, – еще отношение Mn/S. Более сложные модели, чем (10.1), применяются для анализа лабораторных или опытно-промышленных экспериментов, где ин- тервалы варьирования факторов шире, а сами эксперименты ставятся по определенному плану.

Основная цель множественной регрессии – получение модели, по- зволяющей наилучшим образом предсказывать свойство по значени- ям факторов. Некоторые факторы могут не влиять или почти не вли- ять на свойство. Их следует исключить из уравнения регрессии (10.1) как несущественные и только осложняющие анализ.

Построение окончательной, условно «наилучшей» модели – мно- гошаговая процедура. Если количество данных n достаточно ( n > p +1), первоначально в уравнение регрессии включаются все

факторы, а затем малозначащие факторы последовательно удаляются из модели. После каждого исключения (а иногда и последующего возвращения) очередного фактора коэффициенты уравнения регрес- сии (10.1) и характеристики качества модели рассчитываются заново. Процесс построения модели продолжается до тех пор, пока не полу- чится наилучшая модель.

Нельзя полностью формализовать понятие наилучшей модели.

В идеале у нее должно быть наименьшее из возможных остаточное стандартное отклонение se, все коэффициенты регрессии должны значимо отличаться от нуля, множественный коэффициент детерми- нации R2 или корреляции R должен быть близок к максимальному значению (которое он принимает в модели, включающей все факто- ры). Регрессия такой моделью должна быть значима (по F-критерию (6.9)), а коэффициенты регрессии оставшихся в модели факторов – слабо коррелированны между собой. Последнее условие означает,

что после исключения из модели еще одного фактора коэффициенты регрессии при оставшихся факторах изменятся незначительно, т.е. наилучшая модель близка к ортогональной. При анализе данных пас- сивного эксперимента (например, результатов производственного контроля) выполнение этого условия вне власти исследователя, про- водящего регрессионный анализ; он может только констатировать его наличие или отсутствие.

Наилучшие значения всех характеристик нечасто сочетаются в одной модели, поэтому выбор окончательного уравнения регрессии –

72

результат компромисса (как это было в примерах 8.1, 8.2). На первых этапах построения наилучшей модели из уравнения регрессии ис- ключаются факторы с высокими уровнями значимости t-критериев α(t) , т.е. факторы, чьи коэффициенты регрессии заведомо незначимо

отличаются от нуля. Обычно исключение таких факторов приводит к незначительному падению величины R2, остаточное стандартное от- клонение se при этом уменьшается, F-критерий значимости регрес- сии (6.9) увеличивается, а его уровень значимости снижается.

Сложности начинаются, когда все действительно незначимые факторы удалены из модели. В зависимости от того, как коррелиро- ванны факторы, удаление очередного из оставшихся факторов может почти не изменить характеристик модели, но может и значительно их ухудшить. Множественный коэффициент детерминации R2 при этом заметно уменьшится, а остаточное стандартное отклонение se возрас- тет, увеличатся уровни значимости α(t) t-критериев некоторых ос- тавшихся факторов. Такой фактор следует вернуть в модель и попы- таться исключить из нее другой фактор. На этом этапе приходится действовать методом перебора.

Есть несколько сложившихся правил остановки процедуры ис- ключения и выбора наилучшей модели:

–остаточное стандартное отклонение se заметно возрастает при удалении любого из оставшихся факторов;

–исключение любого оставшегося фактора приводит к заметному уменьшению множественного коэффициента детерминации R2 (зная максимальное значение R2 полной модели, можно задать его мини- мально допустимое значение);

–уровни значимости t-критериев α(t) всех оставшихся факторов меньше некоторого заранее принятого значения (необязательно 0,05).

Полученная наилучшая в смысле перечисленных критериев мо- дель не является универсальной. Она отражает особенности исход- ных данных и годится для прогноза, когда новые данные получены в тех же условиях, что и данные для построения модели, т.е. взяты из одной генеральной совокупности. Некоторые факторы, важные, по мнению прикладных специалистов, могут иметь незначимые коэф-

фициенты регрессии и не попасть в окончательную модель только потому, что интервалы их варьирования были узкими. Малое изме- нение пусть даже важного фактора не приведет к заметному измене- нию свойства, поэтому такой фактор будет исключен из наилучшей модели. Наконец, коэффициенты регрессии модели (10.1) характери- зуют силу независимого влияния факторов на свойство. Благодаря

73

особенностям технологии факторы часто оказываются коррелиро- ванными и не могут изменяться независимо, поэтому возможность

предсказания по модели не всегда означает возможность управления свойством с помощью регрессионной модели.

Пример 10.1. В табл. 10.1 приведены данные о влиянии некото- рых параметров химического состава стали 50А (в сотых долях про-

цента) на относительное сужение Ψ (%) – результаты производст- венного контроля. Построить линейную модель множественной рег- рессии, выбрать наилучшую модель.

Решение. В ячейках С20:Н20 рассчитаем для информации сред- ние значения функцией “=СРЗНАЧ(C5:C18)”, а в ячейках С21:Н21 – стандартные отклонения “=СТАНДОТКЛОН(C5:C18)”. В ячейке С22

– количество данных “=СЧЁТ(C5:C18)”. Данных достаточно, чтобы первоначально построить модель, включающую все факторы:

74

Для этого используем функцию ЛИНЕЙН, аналогично примеру 7.2.

Функция ЛИНЕЙН возвращает коэффициенты регрессии в порядке, обратном порядку столбцов базисных функций. Для удобства анализа подпишем столбцы коэффициентов регрессии в строке 24 (табл. 10.2).

Это можно сделать вручную или с помощью функции

“=СМЕЩ($C4;0;СЧЁТ(D5:$H5);1;1)” в ячейках С24:G24. В столбце Н будут данные коэффициента b0. Коэффициенты регрессии и статистиче- ские характеристики модели (10.3) рассчитаем в диапазоне ячеек С25:Н28 с помощью функции ЛИНЕЙН. Выделим диапазон C25:Н28, вызовем функцию ЛИНЕЙН и заполним поля ее аргументов: «Извест- ные значения у» – С5:С18, «Известные значения х» – D5:Н18, поле «Конст» оставим незаполненным, в поле «Статистика» записываем 1. Далее вместо «OK» одновременно нажимаем клавиши Ctrl+Shift+Enter.

Функция ЛИНЕЙН возвращает:

75

коэффициенты регрессии в порядке b5 – b0 в ячейках С25:Н25, стандартные ошибки коэффициентов регрессии sbj (6.13) – ячейки

C26:Н26,

множественный коэффициент детерминации R2 (6.7) – ячейка С27, остаточное стандартное отклонение se (6.6) – ячейка D27, F-критерий значимости регрессии (6.9) – ячейка С28,

число степеней свободы остаточной дисперсии νe (6.5) – ячейка D28.

Далее в ячейках С30:Н30 рассчитаем формулой “=C25/C26” t- критерии коэффициентов регрессии, а в ячейках С31:Н31 – уровни значимости α(t) t-критериев – “=СТЬЮДРАСП(ABS(C30);$D$28;2)”.

В ячейке С33 рассчитаем множественный коэффициент корреляции R формулой “=КОРЕНЬ(C27)”, в ячейке С34 – ч.с.с. дисперсии моде-

ли νr (6.11) функцией “=С22-D28-1”, и в ячейке С35 – уровень зна- чимости α(F) F-критерия значимости регрессии –

“=FРАСП(C28;C34;D28)”.

Затем вычислим в ячейках I5:I18 предсказанные моделью значе- ния (табл. 10.3). Выделим ячейки I5:I18, вызовем из списка функций функцию ТЕНДЕНЦИЯ и заполним поля ее аргументов: «Известные значения у» – С5:С18, «Известные значения х» – D5:H18, «Новые значения х» – D5:H18, поле «Конст» оставим незаполненным. Вме- сто «OK» одновременно нажимаем клавиши Ctrl+Shift+Enter. Далее

в ячейках J5:J18 вычислим остатки yi −Yi формулой “=C5-I5”, в

ячейке J20 функцией “=СРЗНАЧ(J5:J18)” вычислим среднее значе- ние остатков, а в ячейке J21 – стандартное отклонение остатков (6.17) – “=СТАНДОТКЛОН(J5:J18)”. В ячейках K5:K18 рассчитаем ранги остатков функцией “=РАНГ(J5;J$5:J$18;1)”, а в ячейках L5:L18 вычислим квантили нормального распределения (6.16), необходимые для построения нормального вероятностного графика остатков, – “=НОРМОБР((3*K5-1)/(3*$C$22+1);$J$20;$J$21)/$J$21”.

Наконец, в ячейках С37 и С38 (см. табл. 10.2) рассчитаем мини-

мальный и максимальный стандартизованные остатки функциями

“=МИН(J5:J18)/J21” и “=МАКС(J5:J18)/J21” соответственно. Также построим необходимые графики. В многофакторной модели вместо графика зависимости свойства от фактора строят график в координа- тах «предсказанные значения свойства – наблюдаемые значения свойства» (рис. 10.1). Близость точек на этом графике к прямой ли- нии говорит о хорошем совпадении модели и наблюдений. Вместо

графика зависимости остатков от значений фактора строится график зависимости остатков от предсказанных моделью значений свойства

76

77

нее Ψ . На графике «предсказанные значения Ψ – наблюдаемые зна- чения Ψ» заметно большое отклонение минимального значения Ψ =53 от остальных предсказанных моделью значений. Еще более это отклонение заметно на графике остатков рис. 10.2. На нормаль- ном вероятностном графике остатков (рис. 10.3) выпадающий из об- щей зависимости минимальный остаток приводит к большому отда- лению крайней левой точки от совокупности всех остальных и сис- тематическому отклонению части точек от прямой линии. Мини- мальный стандартизованный остаток равен –2,766 (см. табл. 10.2). Это выброс среди остатков с уровнем значимости, меньшим, чем 0,01 (см. табл. П2.4 в [2]; можно также рассчитать уровень значимо- сти как в примере 3.2).

Причины отклонения минимальной величины относительного су- жения Ψ =53 от общей зависимости (10.3) неизвестны, так как в ис-

ходных данных отсутствуют другие параметры технологического процесса, которые, возможно, объяснили бы это отклонение. Тем не менее, с риском ошибки, меньшим, чем 0,01, минимальное относи- тельное сужение Ψ =53 следует исключить из исходных данных, как выброс из общей линейной зависимости. Для этого надо удалить из исходных данных строку, где Ψ =53, все остальные строки перепи-

сать подряд и изменить интервалы аргументов в функциях ЛИНЕЙН и ТЕНДЕНЦИЯ: С5:С17 вместо С5:С18 для зависимой переменной

Ψ («Известные значения у») и D5:H17 вместо D5:H18 для факторов («Известные значения х», «Новые значения х»). Характеристики мо- дели с исключенным выбросом приведены в табл. 10.4.

79

Множественный

33коэфф. корр. R 0,8872 Ч.с.с. дисперсии

34модели 5

Уровень

значимости

35 F-критерия 0,0264

36

Макс. станд.

38 остаток 1,774

После удаления выброса множественный коэффициент детерми- нации возрос, остаточное стандартное отклонение уменьшилось, регрессия моделью (10.3) стала значимой, минимальный и макси- мальный остатки не являются выбросами.

В модели есть два фактора с высокими уровнями значимости t- критериев их коэффициентов регрессии – Ni и Mn. Их можно исклю- чить из уравнения регрессии одновременно, так как они вносят ма- лый суммарный вклад в модель. Функции ЛИНЕЙН и ТЕНДЕНЦИЯ исключают из расчетов столбец, целиком состоящий из одинаковых чисел. Поэтому для исключения базисной функции из модели доста-

точно заменить все ее значения в диапазоне исходных данных на число 0, не меняя ничего в аргументах функций ЛИНЕЙН и ТЕНДЕНЦИЯ. В данном примере для удаления факторов Ni и Mn

80