Анализ данных в материаловедении. Часть 2. Регрессионный анализ. Учебное пособие

В столбце Е в строках 7–25 рассчитаем остаточную дисперсию пер- вой линейной модели se21 с числом наблюдений k, записанным в строке столбца В. Для расчета используем функцию СТОШYX, вычисляющую остаточное стандартное отклонение линейной модели: Е7:Е25 – “=(СТОШYX($D$5:D7;$C$5:C7))^2”. В столбце F аналогичным обра-

зом рассчитаем остаточную дисперсию второй модели se22 с числом на-

блюдений 24 − k : F7:F25 – “=(СТОШYX(D8:$D$28;C8:$C$28))^2”.

В ячейках G7:G25 вычислим сводную остаточную дисперсию se2 (7.7) – “=(B5*E7+($B$28-B9)*F7)/($B$28-4)”. В ячейках Н7:Н25 запишем формулу, которая возвращает номер последнего наблюдения первой модели в строке, где достигается минимум сводной остаточной диспер- сии, и ноль в остальных строках – “=B7*(G7=МИН($G$7:$G$25))”.

Это же число – число наблюдений в первой группе, при котором регрессия двумя прямыми наилучшая, – запишем в ячейке В33 формулой “=СУММ(H8:H25)” (табл. 7.8). В ячейках В36 и С36 рассчитаем коэффициенты регрессии а1 и b1 первой модели, используя функции ОТРЕЗОК и НАКЛОН: В36 – “=ОТРЕЗОК(D5:СМЕЩ(D4;B33;0;1;1);C5:СМЕЩ(C4;B33;0;1;1))”, С36 –

31

“=НАКЛОН(D5:СМЕЩ(D4;B33;0;1;1);C5:СМЕЩ(C4;B33;0;1;1))”.

“=ОТРЕЗОК(СМЕЩ(D4;B33+1;0;1;1):D28;СМЕЩ(C4;B33+1;0;1;1):C28)”, С37 –

“=НАКЛОН(СМЕЩ(D4;B33+1;0;1;1):D28;СМЕЩ(C4;B33+1;0;1;1):C28)”.

Функция смещения СМЕЩ использована здесь для вычисления коэффи- циентов регрессии единственной наилучшей модели. В ячейке В40 рас- считаем координату х точки пересечения двух прямых (7.8) формулой “=(C37-C36)/(D36-D37)”, а в ячейке С40 – координату у этой точки –

“=C36+D36*C40”.

“=($B$36+$C$36*C5)*(B5<=$B$33)+($B$37+$C$37*C5)*(B5>$B$33)”.

Затем, как и в предыдущих примерах, в диапазоне ячеек J5:J28 вы- числим остатки формулой “=D5-I5”, а в ячейках J30 и J31 – среднее и стандартное отклонение остатков функциями “=СРЗНАЧ(J5:J28)” и “=СТАНДОТКЛОН(J5:J28)” соответственно. Затем в ячейках K5:K28 функцией “=РАНГ(J5;J$5:J$28;1)” рассчитаем ранги остатков и в ячейках L5:L28 рассчитаем квантили нормального распределения функцией “=НОРМОБР((3*K5-1)/(3*$B$28+1);$J$30;$J$31)/$J$31”.

32

В ячейке В42 (см. табл. 7.8) рассчитаем множественный

коэффициент корреляции как коэффициент корреляции между наблюдаемыми и предсказанными значениями функцией “=КОРРЕЛ(D5:D28;I5:I28)”. В ячейках В44 и В45 вычислим мини-

мальный и максимальный стандартизованные остатки функциями

“=МИН(J5:J28)/J31” и “=МАКС(J5:J28)/J31”. Для сравнения остаточ-

ных дисперсий единой линейной модели и модели регрессии двумя прямыми в ячейке В48 вычислим остаточную дисперсию единой ли- нейной модели функцией “=(СТОШYX(D5:D28;C5:C28))^2”, а в ячей- ке В49 остаточную дисперсию аппроксимации ломаной – “=МИН($G$7:$G$25)”. В ячейке В51 рассчитаем F-критерий – отно- шение остаточных дисперсий – “=B48/B49” и в ячейке В52 – уровень значимости α(F) этого критерия – “=FРАСП(B51;B28-2;B28-4)”.

Также построим точечный график наблюдаемых значений с до- бавленными линиями регрессии (рис. 7.10), график зависимости ос- татков от фактора (рис. 7.11) и нормальный вероятностный график остатков (рис. 7.12).

Анализ результатов. Получены линейные регрессионные моде- ли, связывающие зависимую и независимую переменные

Y = 59,235- 0,324X ,

если x £13,311, и

Y = 81,086-1,956X ,

если x>13,311.

33

Рис. 7.11. Остатки в зависимости от значений фактора

34

Рассчитана точечная оценка граничного значения фактора xc =13,311, при котором происходит смена зависимостей.

Регрессия двумя прямыми значимо лучше единой линейной моде- ли. Среди остатков отсутствуют выбросы. Остатки в зависимости от фактора изменяются случайно. Точки на нормальном вероятностном графике остатков не отклоняются систематически от прямой. Метод наименьших квадратов применен корректно.

Задание для самостоятельной работы

Используя шаблон примера 7.2, построить единую квадратичную модель зависимости свойства Y от фактора X. Рассчитать F-критерий

F = se2квадр . Сделать вывод о значимости различия квадратичной мо- se2

дели и регрессии двумя прямыми.

35

8. ОРТОГОНАЛЬНЫЕ БАЗИСНЫЕ ФУНКЦИИ

8.1. Регрессия ортогональными базисными функциями

Не всегда заранее известно, какой именно моделью описывается зависимость свойства Y от фактора X. В этом случае для построения регрессионной модели используется система базисных функций. Первоначально выбирается простейшая модель, включающая одну первую базисную функцию. Если модель отклоняется от наблюде- ний, то в модель добавляется вторая базисная функция, затем третья, четвертая и т.д. Процедура последовательного усложнения продол- жается до построения наилучшей модели. Критерием наилучшей мо-

дели служит минимум остаточной дисперсии se2 . При этом в модели

не должно быть базисных функций с высоким уровнем значимости t- критериев коэффициентов регрессии. Они вносят малый вклад в мо- дель (из-за близости к нулю их коэффициентов регрессии), но ос- ложняют содержательный анализ модели.

Такой подход использовался в примере 7.2, где рассчитывались линейная и квадратичная модели зависимости относительного удли- нения от времени нагрева:

δ= 19,617 + 0,249t ,

δ=5,28+2,65t −0,097t2 .

Из сравнения моделей видно, что коэффициенты b0 в линейной и квадратичной моделях разные; различаются также и коэффициенты b1 этих моделей. Если из последней модели исключить базисную функцию t, то получим модель

δ= 21,198+ 0,01t2 ,

коэффициенты b0 и b2 которой тоже не совпадают с аналогичными коэффициентами предыдущей модели. В выбранной системе степен- ных базисных функций коэффициенты регрессии изменяются, если изменяется сама модель. Это создает неудобства при анализе модели и оценке значимости коэффициентов регрессии, т.е. оценке вклада в модель соответствующих базисных функций.

36

Можно избежать зависимости коэффициентов регрессии от вида модели, если использовать систему ортогональных базисных функ- ций. Базисная функция fj (X ) ортогональна базисной функции fk (X ) на множестве наблюдений xi, y, (i =1, 2, ..., n ), если

n

å fij fik = 0 , i=1

где fij – значение j-й базисной функции при i-м значении фактора: fij = f j (xi ) . В системе ортогональных базисных функций любая

n

сумма å fij fik = 0 , если j ¹ k . Тогда в матрице коэффициентов

i=1

левой части системы уравнений (7.5) все недиагональные элементы равны нулю, и выражения для коэффициентов регрессии упрощают-

ся до

i=1

Коэффициент регрессии bj (8.1) рассчитывается по значениям соб- ственной базисной функции fij и не изменяется, если в модель вво-

дятся или из модели исключаются другие ортогональные базисные функции. Новая ортогональная базисная функция дополняет пре- дыдущую регрессионную модель, не изменяя самой предыдущей модели.

Стандартная ошибка коэффициента регрессии

i=1

зависит только от остаточной дисперсии se2 и значений собственной

базисной функции. Эта ошибка минимальна в модели, остаточная дисперсия которой наименьшая.

37

8.2.Ортогональные полиномы

Впрактике регрессионного анализа часто предполагается, что свойство Y зависит от фактора Х по полиномиальному закону

но степень полинома р заранее неизвестна и должна определяться в процессе расчета и сравнения моделей. В этом случае вместо уравне- ния регрессии (8.3) удобнее воспользоваться моделью

где Q0 (X ), Q1(X ), ..., Qp (X ) – взаимно ортогональные полиномы на множестве значений фактора xi (i =1, 2, ..., n ), а u0 , u1, ..., up – опре-

деляемые коэффициенты регрессии. Ортогональный полином степе- ни р – это полином вида

Полином нулевой степени Q0 (X ) º1.

Коэффициенты a0( p), a1( p), ..., a(pp-)1 полинома (8.5) вычисляются из

условия его ортогональности всем предыдущим полиномам

i=1

где qij = Qj (xi ) и j = 0, 1, ..., p-1. Например, для полинома первой

степени

Q1(X ) = a0(1) + X

из условия (8.6) получим (учитывая, что qi0 =1 для всех i)

откуда

n

a0(1) = - 1 å xi = -x

n i=1

38

и полином первой степени Q1(X ) = X - x . Попутно заметим, что

линейная модель (7.4) – это еще и уравнение регрессии в форме ор- тогональных полиномов нулевой и первой степеней. Для расчета ко-

ных уравнений, но на практике в этом нет необходимости, так как

ортогональные полиномы связаны соотношением

Соотношение (8.7) позволяет рассчитать значения нового поли- нома qik+1 = Qk+1(xi ) через значения двух предыдущих полиномов qik и qik-1 без вычисления коэффициентов a(jk+1) нового полинома.

Оно же позволяет вычислить и сами коэффициенты нового полинома через коэффициенты двух предыдущих:

где j = 0, 1, ..., k +1, а несуществующие коэффициенты полагаются

равными нулю.

После расчета по (8.1) коэффициентов регрессии u0 , u1, ..., up мо- дели (8.4) можно также вычислить и коэффициенты bj полинома

(8.3):

где j = 0, 1, ..., p . Если ни один из ортогональных полиномов Qk (X )

не исключался из модели (8.4), то уравнения (8.3) и (8.4) – две раз- ные формы одного и того же уравнения регрессии. Поэтому коэффи- циенты регрессии bj, вычисленные непосредственно (как в приме- рах 7.1, 7.2) и рассчитанные по (8.10), совпадут.

39

Пример 8.1. Провести регрессию ортогональными полиномами данных примера 7.2. Выбрать наилучшую модель.

Решение. Поместим исходные данные в порядке возрастания зна- чений времени нагрева t в ячейках С5:С18 и D5:D18 (табл. 8.1). (Упорядочение по возрастанию необходимо только для построения линии регрессии на графике.) В ячейках С20:D20 – средние значения независимой и зависимой переменных: “=СРЗНАЧ(C5:C18)”, в ячей- ках C21:D21 – их стандартные отклонения

“=СТАНДОТКЛОН(C5:C18)”.

Соотношение (8.7) позволяет организовать вычисления таким об- разом, чтобы расчеты полиномов второй и более высоких степеней проводились без записи в ячейки новых формул, а только копирова- нием формул из соседнего столбца. В столбце Е будем проводить все расчеты, связанные с полиномом нулевой степени Q0 (X ) , в столбце F – с полиномом первой степени Q1(X ) , в столбце G – с полиномом второй степени Q2 (X ) и т.д. В строке 4, начиная со столбца Е, запи- шем степень модели (она же степень старшего ортогонального поли- нома): «0» в ячейке Е4 и формула “=E4+1” в ячейке F4.

40