Конспект_2часть

ентов уравнения регрессии. По этим причинам вариант (б) также можно считать

неудачным.

Оставшиеся варианты (в), (г), (д) и (е) позволяют оценить погрешность опытов

и проверить адекватность модели. Окончательный выбор варианта зависит от предпочтения экспериментатора. Варианты (д) и (е) обеспечивают оценку адек- ватности линейной модели и получение квадратичной модели. Вариант (г) с че-

тырьмя уровнями варьирования фактора позволяет проверить адекватность квад- ратичной модели, а (в) – модели четвертого порядка.

87

Лекция 19. НЕЛИНЕЙНАЯ РЕГРЕССИЯ

Довольно часто хорошее согласование дает приближение полиномом второй

степени

у = a + bx + cx2 .

Коэффициенты a, b, c определяются таким же образом, как и при линейной регрессии. Зададим функцию

n [ ( 2 )]2

U = å yi - a + bxi + cxi

i =1

и найдем частные производные

Получаем систему из трех линейных уравнений с тремя неизвестными a, b, c. Решая ее, находим неизвестные коэффициенты

Аппроксимация полиномом низкой степени может привести к значительному расхождению расчетных и экспериментальных результатов, в то же время приме-

нение высоких степеней может излишне усложнить описание результатов. Опти- мальный порядок многочлена определяют следующим образом. Выбирают неко- торое 1≤ k ≤ n , равное количеству коэффициентов регрессии, и по равенству ну-

лю частных производных находят значения этих коэффициентов. Далее вычисля-

ют остаточную дисперсию по формуле

где yi - значение величины у, рассчитанное по уравнению регрессии при

x= xi ; k – количество коэффициентов в уравнении регрессии.

После этого находят среднеквадратичное отклонение

Sy,ост = Sy2,ост ,

которое сравнивают с известной погрешностью эксперимента ε. При Sy,ост >> ε ,

когда математическая погрешность аппроксимации много больше физической по- грешности исходных данных, переходят к описанию полиномом более высокой степени. Случай, когда Sy,ост << ε , свидетельствует о том, что старшие коэффи-

циенты аппроксимации физически недостоверны, и в уравнении регрессии необ-

ходимо уменьшить количество членов. Оптимальным признается значение k, при котором Sy,ост ≈ ε . Однако, если k ≈ n , то следует поискать более подходящий

вид аппроксимирующей функции.

Довольно часто вид зависимости y = f (x) принципиально отличается от ли-

нейной или параболической по физическим соображениям или по характеру рас- положения экспериментальных точек. В этих случаях система уравнений, состав-

ленная из частных производных суммы квадратов отклонений по параметрам уравнения регрессии, принимает вид, не допускающий аналитического решения.

Для некоторых типов зависимостей подбор коэффициентов уравнения регрессии может быть значительно облегчен путем преобразования переменных и сведения уравнений к линейному или параболическому виду.

89

Проводя замены y1 = ln(y ), a1 = ln(a), получаем линейное уравнение y1 = a1 + bx .

Далее по известной методике находим коэффициенты а1 и b, затем преобразова-

ln(y ) = ln(a)+ bln(x). После замены переменных y1 = ln(y ), x1 = ln(x), a1 = ln(a) полу-

90

Аналогичным образом преобразуются другие нелинейные зависимости. Одна-

ко необходимо иметь в виду, что минимизация суммы квадратов отклонений будет обеспечена для новых переменных x1 и y1. Найденные таким образом коэффици-

енты a и b в общем случае не обеспечивают строгого выполнения условия макси- мума правдоподобия, тем не менее являются достаточно хорошим приближением к искомым величинам. В практических расчетах часто этим пренебрегают, считая,

что погрешность, связанная с отклонением от условия максимального правдопо- добия обычно меньше погрешности в определении значений x1 и y1/

Если вид функции заранее не известен, то проводят подбор нескольких типов функций и выбирают ту, которая обеспечивает наибольшее значение критерия Фишера.

При нелинейной регрессии в качестве показателя тесноты связи между вели-

чинами х и у применяется корреляционное отношение ηxy, величина которого мо-

жет быть определена через общую и остаточную дисперсии

Корреляционное отношение неотрицательно, не превосходит единицы и

удовлетворяет неравенству

0 ≤ rxy ≤ ηxy ≤ 1.

Равенство корреляционного отношения нулю означает отсутствие корреляци- онной связи данного вида, но не статистической зависимости. В случае линейной

регрессионной зависимости величины ηxy и rxy совпадают по абсолютной величине

ηxy = rxy .

При интерпретации результатов статистической обработки надо иметь в виду, что статистическая зависимость, как бы ни была она сильна, никогда не может ус- тановить причинной связи: идеи о причине должны приходить извне статистики, в конечном из некоторой другой теории. Однако, наличие или отсутствие значи-

тельной корреляционной связи во многих случаях помогает выявить истинные за- кономерности процессов и построить теории и математические модели, объяс-

няющие эти процессы.

91

Лекция 20. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Во многих случаях интересующая величина у зависит не от одной, а от не-

скольких переменных:

y = f (x1,x2,...,xp ) .

При р независимых переменных хi зависимая функция у и величины хi оказы- ваются связанными в p+1 – мерном пространстве. Зависимую переменную у часто называют функцией отклика, а независимые параметры xi – факторами.

При проведении эксперимента в случае многофакторной зависимости получа- ется матрица результатов эксперимента размерностью n´p:

Здесь n – количество опытов, p – количество факторов, xij – значение j-того

фактора в i-том опыте, yi – значение функции отклика в i-том опыте.

Целью множественного регрессионного анализа является построение такого уравнения, при котором отклонения наблюдаемых значений yi от рассчитанных по уравнению yi были бы минимальными.

При линейной аппроксимации необходимо найти такие значения коэффициен- тов уравнения y = b0 + b1x1 + b2x2 + ... + bp xp , которые обеспечивают минималь-

ное значение функции

U = å(yi - y)i )2 = å[yi - (b0 + b1x1 + b2x2 +... + bp xp )]2 .

Вычисляя частные производные и приравнивая их нулю, получаем систему р+1 линейных уравнений относительно коэффициентов b0, b1, …, bp.

92

Для трехфакторного эксперимента уравнение регрессии имеет вид: y = b0 + b1x1 + b2x2 + b3 x3 .

Найдем соответствующие производные:

∂U = ∂ å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 )2 = ¶b0 ¶b0

=- 2å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 ) =

=-2(å yi - b0n - b1å xi1 - b2 å xi2 - b3 å xi3 ) ,

∂U = ∂ å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 )2 = ¶b1 ¶b1

=-2å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 )xi1 =

=-2(å yi xi1 - b0 å xi1 - b1å xi21 - b2 å xi2xi1 - b3 å xi3 xi1) ,

∂U = ∂ å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 )2 = ¶b2 ¶b2

=-2å(yi - b0 - b1xi1 - b2xi2 - b3 xi3 )xi1 =

=-2(å yi xi2 - b0 å xi2 - b1å xi1xi2 - b2 å x2i2 - b3 å xi3 xi2 ) ,

Сокращая на –2 и приравнивая их нулю, получаем систему из 4-х линейных

После определения коэффициентов bj проводится проверка значимости полу-

ченной зависимости, т.е. качества предсказания уравнения регрессии. Для этого

вычисляют остаточную дисперсию

которую сравнивают с дисперсией среднего

93

вычисляя критерий Фишера

S 2

F = y .

Sост2

Далее по таблице F-распределения для выбранного уровня значимости a и числа степеней свободы f1=n-1 и f2=n-p-1 находят табличное значение критерия

Fα.

Если F> Fα, то можно считать, что найденное уравнение регрессии предсказы- вает результат значимо лучше, чем среднее значение y и им можно пользовать-

ся.

Если F< Fα, то нет основания считать, что полученное уравнение лучше отра- жает результаты эксперимента, чем среднее значение y .

Значимость коэффициентов регрессии bj проверяется по критерию Стьюден-

та. Сначала рассчитываются погрешности вычисления коэффициентов

Sb j = Sост2 с jj ,

где cjj – элемент главной диагонали матрицы, обратной матрице коэффициентов уравнений.

Далее вычисляются параметры t-распределения

и по таблице для выбранного уровня значимости a и числа степеней свободы f=n- p-1 находят табличное значение tα.

Если tb j > tα , то принимают, что коэффициент bj значимо отличается от нуля.

При tb j < tα с вероятностью ошибки a можно считать, что bj=0.

Доверительный интервал коэффициентов bj находят из выражения bj - tαSb j £ b j £ b j + tαSb j .

Здесь bj – значение коэффициента регрессии в генеральной совокупности.

94

Далее проводят корреляционный анализ, т.е. проверяют тесноту связи между

функцией отклика у и каждым из факторов xj, а также факторов xi, xj между собой. Для этого вычисляют коэффициенты парной корреляции:

Далее по t-критерию Стьюдента проверяется значимость коэффициентов кор-

реляции. Для этого вычисляются параметры

Затем по выбранному уровню значимости a и числу степеней свободы f=n-2

мается, что соответствующие коэффициенты корреляции значимо отличаются от нуля, в противном случае с вероятностью ошибки a предполагается, что отличие от нуля данного коэффициента можно объяснить только случайными погрешно- стями.

Доверительные интервалы для коэффициентов парной корреляции опреде-

ляются по формулам:

Здесь ryx j , rxk x j - коэффициенты регрессии генеральной совокупности.

Если один из коэффициентов rxk x j =1, то это означает, что между параметра-

ми xk и xj существует строгая функциональная зависимость, и в этом случае целе-

95

сообразно один из параметров исключить из уравнения регрессии. В уравнении оставляют тот параметр, у которого коэффициент парной корреляции ryx j или

ryxk больше по абсолютной величине.

После исключения из уравнения регрессии функционально связанных и не-

значимых параметров строится матрица парных коэффициентов корреляции в виде

Эта матрица симметрична, т.е. ryx j = rx j y , rxk x j = rx j xk .

Далее оценивают тесноту связи функции отклика со всеми факторами, для че-

го рассчитывают множественное корреляционное отношение по формуле

S 2

R = 1- ост

Sy2

и среднеквадратичную погрешность по формуле

SR = n - p -1 .

Значимость множественного корреляционного отношения R оценивают по

критерию Стьюдента

t)R = R , SR

который сравнивают с табличным tα, найденным по уровню значимости a и

числу степеней свободы f=n-p-1.

В том случае, если линейная модель не устраивает, переходят к нелинейным

моделям. В частности, обычно используют квадратичную форму

y= b0 + b1x1 + b2x2 + ... + bp xp +

+b11x12 + b22x22 + ... + bpp xp2 +

+b12x1x2 + b13 x1x3 + ... + bkj xk x j + ... + bp−1,p xp−1xp .

Другой формой уравнения регрессии является так называемая мультиплика-

тивная форма

96