Рис. 11

Задачи для самостоятельного решения

Задача 35. Установить вид зависимости по данным:

2.5. Множественная регрессия

Во многих случаях необходимо исследовать зависимость величины у от нескольких переменных X1, X2 , ..., Xn . Эти переменные X1, X2 , ..., Xn назы-

42

Поскольку вид функции отклика, как правило, неизвестен, ее представляют в виде полинома (многочлена) и, находя по экспериментальным данным оценки коэффициентов полинома, получают эмпирическое уравнение регрессии в виде

Коэффициент b0 называется оценкой свободного члена уравнения регрессии, коэффициенты bj — оценками линейных эффектов, bj, t — оценками эффектов взаимодействия, bj, j — оценками квадратичных эффектов.

На практике обычно ограничиваются рассмотрением задачи определения коэффициентов линейного

которое называется неполным квадратичным или уравнением с парными взаимодействиями.

Постановка задачи. Пусть выбран вид функции регрессии и по результатам N наблюдений (опытов) над откликом y и факторами X1, X2, ..., Xn.

Требуется оценить коэффициенты эмпирического уравнения регрессии (21). Поскольку уравнение (21) линейно относительно параметров bj , bj,t , bj, j , ..., то для оценки коэффициентов можно использовать МНК.

Идея обобщения метода наименьших квадратов на случай регрессионной модели вида (21) заключается в том, что любое произведение факторов или их степень можно рассматривать в качестве нового фактора.

Упростим систему обозначений — заменим члены второго и более высоких порядков линейными:

Кроме того, введем фиктивную переменнуюX0 1, которая всегда при-

нимает значение 1.

Тогда уравнение (21) будет записываться как однородное линейное уравнение:

43

стеме нормальных уравнений количество уравнений всегда равно количеству неизвестных. В данном случае неизвестными являются b0 ,b1,b2 , ..., bk , следо-

вательно, система имеет k 1 уравнение.

Запомнить систему нормальных уравнений можно следующим образом. Запишем уравнение (26) N раз, подставив в него результаты каждого из N опытов. Если каждое из полученных соотношений умножить на соответствующее значение фактора X0 , а потом просуммировать все эти соотноше-

ния, то получим первое уравнение системы. Если умножать на значения фактораX1 , то получим второе уравнение системы и т. д. При умножении на

значения фактора X k получим последнее уравнение системы.

Итак, МНК можно использовать для определения коэффициентов уравнения регрессии не только в случае линейной зависимости параметра у от факторов. Для применения МНК важно, чтобы коэффициенты b0 ,b1, ,b2 , ..., bk

входили в уравнение регрессии линейно и чтобы число оцениваемых коэффициентов было не больше числа различных опытов. При вычислении коэффициентов нелинейного уравнения регрессии вводят замену переменных: обозначают через X0 , X1, X2 , ..., Xk те факторы или функции от исходных

факторов, при которых стоят неизвестные искомые коэффициенты b0 ,b1, ,b2 , ..., bk , При этом необходимо, чтобы новые переменные были линей-

но независимы (т. е. их значения не могут быть пропорциональными, линейно выражаться друг через друга).

Пример решения задачи

Задача 38. По имеющимся результатам эксперимента (табл. 10) получить (если это возможно):

1)линейное уравнение регрессии;

2)уравнение вида yˆ b0 b12 X1X 2 b22 X 22 ;

3)квадратичное уравнение регрессии;

4)уравнение yˆ b0 b1X1 b2 X 2 b11X12.

44

Решение. 1. Линейное уравнение регрессии в случае двух факторов имеет

вид yˆ b0 b1X1 b2 X2.

Для нахождения его коэффициентов составим систему нормальных уравнений по формуле (27). Запишем систему в общем виде, учитывая, что X0 i 1 для всех опытов, а число опытов N 4:

Запишем систему нормальных уравнений:

Для ее решения выразим b2 из второго уравнения и подставим в первое и третье:

45

14b0 1145 8b0 80; 6

6 14b0 11(45 8b0 ) 6 80;4b0 15;

b0 3,75.

Следовательно

b1 45 8 3,75 2,5; b2 2 3,75 2 2,5 14 1,5. 6

Таким образом, искомая линейная зависимость имеет вид yˆ 3,75 2,5X1 1,5X2.

2. Поскольку указанное уравнение имеет три неизвестных коэффициента, система нормальных уравнений будет содержать три уравнения. Запишем систему в общем виде с помощью формулы (27):

46