Конспект_2часть

Лекция 14. ОБОСНОВАНИЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

Часто исследуемый объект представляется в виде «черного ящика», для ко-

торого не известно его внутреннее устройство, но о его свойствах можно судить по его взаимодействию с окружающей средой. Внешние условия, влияющие на

состояние объекта, будем характеризовать с помощью значений некоторых неза- висимых или слабо зависимых между собой параметров xi, а состояние объекта –

с помощью значений некоторых функций yj, как это показано на рис.1.1.

объекта также характеризуется несколь-

кими функциями отклика yj. Поскольку в экспериментах обычно исследуется влия- ние всех факторов на каждую из функций отклика, то в дальнейшем будем рас-

сматривать случай, когда на объект воздействуют m факторов, а состояние объ-

екта оценивается по одной функции отклика y.

Простейшим является случай, когда на объект оказывает влияние только один фактор х. Обычно величина x представляется в качестве независимой перемен- ной (фактора), а y рассматривается как функция этого параметра. При этом пред-

Допустим, что для исследования взаимосвязи величин х и у были проведены n измерений и получен набор n пар значений xi и yi. Экспериментальные точки дают некоторый разброс относительно истинных значений, связанный с наличием слу-

чайных ошибок. При интерпретации этих данных необходимо ответить на сле- дующие вопросы:

1)Можно ли с заданной вероятностью утверждать, что существует связь меж-

ду величинами x и y.

2)Если связь существует, то какой вид функции y = ϕ(x,a,b,c,...) описывает

результаты эксперимента.

3)Какие численные значения коэффициентов a,b,c,... функции ϕ(x) обеспечи-

вают наилучшее согласование экспериментальных и расчетных данных.

67

4)Согласуется ли с результатами эксперимента (адекватно ли математиче- ское описание результатов) выбранный вид функции ϕ (x).

5)В каком диапазоне с заданной вероятностью находится математическое ожидание величины y(x).

Ответы на эти вопросы позволяет получить регрессионный анализ. Оценку

тесноты связи между функцией отклика и параметрами, взаимосвязи факторов между собой и адекватности математического описания дает статистический ана-

лиз полученных результатов, подбор численных значений коэффициентов обычно производится с помощью метода наименьших квадратов (МНК). МНК является со-

ставной частью регрессионного анализа и по существу является вычислительным

приемом, обеспечивающим выбор числовых параметров функции таким образом,

чтобы сумма квадратов отклонений расчетных и экспериментальных данных была

минимальной.

Известно, что через любые n точек с координатами (xi,yi) всегда можно про-

вести кривую, выражаемую аналитически полиномом степени n-1 (через 2 точки - прямую, через 3 - квадратичную параболу, через 4 - кубическую и т.д.). Однако та-

кое решение, как правило, не устраивает по нескольким причинам.

Во-первых, расположение точек на плоскости x0y определяется как наличием или отсутствием связи, так и случайными ошибками. Проводя линию строго по точкам, мы в математическое описание результатов эксперимента заносим ошиб- ки эксперимента.

Во-вторых, вид функции y = ϕ(x) в таком случае будет зависеть от количества

проведенных опытов. Каждый новый опыт будет менять вид зависимости, что ли- шено здравого смысла.

68

Здесь возникает типичная задача обработки экспериментальных данных, для которой желательно найти такой вид функции y = ϕ(x), которая по возможности

точно отражает общую тенденцию зависимости y от x и вместе с тем сглаживает отклонения, связанные с влиянием случайных неконтролируемых факторов. За- дача сводится к выбору типа зависимости ϕ (x) таким образом, чтобы эта зависи-

мость в некотором смысле наилучшим образом отображала экспериментальные данные. Уравнение y = ϕ(x) называется уравнением регрессии.

Вид кривой y = ϕ(x) может быть задан на основании следующих соображений.

Часто этот вопрос решается по внешнему виду расположения точек на плоскости.

Для парной зависимости y = ϕ(x) в координатах x0y наносятся эксперименталь-

ные точки, и в зависимости от их расположения выдвигается гипотеза о виде функциональной связи.

Иногда бывает так, что вид функции известен из физических соображений, связанных с существом поставленной задачи. Иногда известно, что график функ-

В любом случае вид регрессионной зависимости y = ϕ(x) должен быть пред-

варительно выбран или задан. Задачей МНК является только подбор значений

коэффициентов регрессии, обеспечивающих наилучшее согласование расчетных

и экспериментальных данных. Методы статистического анализа также позволяют сделать выводы о том, насколько тесной существует зависимость между экспери-

ментальными данными и уравнением регрессии y = ϕ(x,a,b,c,...), но не могут ука-

зать, какой вид функции y = ϕ(x) следует использовать для описания результатов эксперимента. Выбор функции y = ϕ(x) должен основываться на предварительной информации об описываемом процессе и интуиции исследователя.

Допустим, что истинная зависимость имеет вид y = ϕ(x), а отклонение экспе-

риментальных точек от истинной кривой обусловлено только лишь случайными ошибками. В этом случае отклонения должны подчиняться нормальному закону распределения. Если точность измерения во всех точках одинакова,

σ1 = σ 2 = σ 3 = K = σ n , то плотность распределения результатов экспери-

мента определится выражением

69

В результате наших измерений произошли следующие события: случайные величины Y1, Y2, ..., Yn приняли значения y1, y2, ..., yn. Будем считать, что в опытах

случайная величина Y принимала значения, обладающие наибольшей вероятно- стью, т.е. при фиксированных значениях x1, x2, …, xn наиболее вероятными явля-

ются наблюдаемые значения y1, y2, ..., yn. Это так называемый принцип макси- мального правдоподобия.

Поставим задачу: подобрать математические ожидания ϕ(x1), ϕ (x2), ϕ (xn) та-

ким образом, чтобы вероятность события, что при x1, x2, …, xn появились именно

значения y1, y2, ..., yn, была максимальной. Строго говоря, вероятность появления любого случайного числа, непрерывно распределенного на числовой оси, равна

нулю. Будем пользоваться не вероятностями событий, а элементами вероятно-

стей

приняла значения y1, y2, ..., yn. Так как опыты независимы, то эта вероятность рав-

на произведению вероятностей для всех значений i.

Метод наименьших квадратов предполагает, что наилучшим приближением

считается такое, при котором достигается минимум суммы квадратов отклонений расчетных и наблюдаемых значений y, то есть выполняется условие

70

Следует заметить, что в данном случае величины xi и yi известны из опыта.

При заданном виде функции y = ϕ(x) сумма квадратов отклонений результатов

эксперимента от линии регрессии (величина U) является только функцией пара-

метров a,b,c..., т.е. U=U(a,b,c,...).

Необходимым условием минимума многопараметрической непрерывной функции на неограниченном диапазоне изменения параметров является равенст-

во нулю частных производных по параметрам. Отсюда выполнение условия ,

представленного в виде

U = ån (yi -ϕ(xi ))2 Þ min

i =1

будет обеспечено при

Количество уравнений в системе (2.4) равно количеству подлежащих опреде-

лению параметров a,b,c,... Решая эту систему, можно найти значения параметров.

Еще раз отметим, что в общем виде эту систему решить нельзя, для этого не- обходимо задаться конкретным видом функции ϕ(x).

71

Лекция 15. ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ РЕГРЕССИИ ПО МНК

Наиболее часто в качестве уравнения регрессии используются алгебраические

Параметры уравнения b0, b1, …, bm являются постоянными численными коэф- фициентами, называемыми коэффициентами регрессии. Каждый из коэффициен-

тов модели отражает влияние соответствующего фактора или его комбинации: коэффициент b0 определяет среднее значение функции отклика у, когда влияние фактора х отсутствует, коэффициент b2 оценивает влияние величины х2 и т.д.

Максимальная степень фактора (в данном случае величина m) определяет поря- док уравнения.

Регрессионная модель (3.1) является линейной по параметрам и нелинейной

по факторам, т.к. изменение любого коэффициента регрессии в λ раз приведет к такому же изменению функции отклика у, как и изменение в λ раз соответствую-

щего фактора или его комбинации. В то же время изменение в λ раз значения

функции отклика при соответствующих изменениях фактора х возможно только в

исключительных случаях.

В качестве примера нелинейной по параметрам регрессионной модели можно привести уравнение y = eb0 +b1x , где отсутствует прямая пропорциональность

значений функции отклика от значений коэффициентов регрессии.

Для линейной однофакторной модели принимается предположение, что зна-

где параметр ε принимает некоторое случайное значение в каждом конкретном опыте. При многократном повторении опытов с одним и тем же значением х сред-

нее значение параметра ε будет приближаться к нулю, поэтому математическое

ожидание функции отклика будет иметь вид

Хотя значения параметров β0 и β1 неизвестны, можно на основании экспери-

ментальных результатов получить их приближенные оценки b0 и b1. В этом случае уравнение регрессии, описывающее поведение математического ожидания функ- ции отклика, можно представить в виде

72

В соответствии с (2.4) запишем систему уравнений для определения неиз-

вестных параметров b0 и b1:

Раскроем скобки и сократим на –2:

Таким образом, получаем систему двух линейных уравнений с двумя неиз- вестными b0 и b1 :

Еще раз следует обратить внимание на то, что величины xi и yi , а следова- тельно и их суммы известны из опыта. Неизвестными величинами являются па- раметры уравнения b0 и b1.

Решая систему (3.5) по правилу Крамера, будем иметь:

73

Вычисление коэффициентов при ручной обработке экспериментальных дан-

ных целесообразно проводить в табличной форме.

Таблица 3.1

Методика первичной обработки результатов эксперимента

Для контроля правильности вычислений в табл.3.1 используется выражение

å(xi + yi )2 = å xi2 + 2å xi yi + å yi2 .

Уравнение регрессии (3.4) можно представить в несколько ином виде. Вычис-

лим средние арифметические значений функции отклика и фактора по формулам:

Разделим первое уравнение системы (3.5) на количество измерений n, откуда

Из (3.11) следует, что при x = x расчетное значение функции отклика y€= y .

Это означает, что график функции, определяемой уравнениями регрессии (3.4) или (3.11), проходит через точку (x,y ).

74

Лекция 16. ТОЧНОСТЬ УРАВНЕНИЯ РЕГРЕССИИ

Величина yi − y соответствует отклонению i-ой точки от среднего значения функции отклика. Суммарной характеристикой отклонения всех точек от среднего значения является общая дисперсия, которая рассчитывается по формуле

В свою очередь с учетом (3.10)

å(y€i − y )(yi − y€i )= å(b0 + b1xi − b0 − b1x )[yi − y − (yi − y )]=

= b1å(xi − x )[yi − y − b1(xi − x )]= b1å[(xi − x )(yi − y )− b1(xi − x )2 ].

Так как

å(xi − x )(yi − y ) = å xi yi − xå yi − y å xi + n xy = å xi yi − n xy , å(xi − x )2 = å xi2 − 2xå xi + nx 2 = å xi2 − nx 2 ,

из второго уравнения системы (3.5) и (3.10)

å xi yi = b0 å xi + b1å xi2 = b0nx + b1å xi2 = (y − b1x )nx + b1å xi2 =

то

å(y€i − y )(yi − y€i )= b1(nxy − b1nx 2 + b1å xi2 − nxy − b1å xi2 + b1nx 2 )= 0 .

Выражение (3.14) принимает вид:

75

занных по уравнению регрессии значений функции отклика от среднего значения.

Эту сумму обозначим как

Так как эта величина оценивает отклонение линии регрессии от прямой yi = y , то ее называют суммой квадратов, обусловленной регрессией.

Второй член правой части уравнения (3.15) суммирует квадраты отклонений экспериментальных значений от линии регрессии. Величины

называются остатками. Они составляют ту часть наблюдаемых значений yi, кото-

рую нельзя объяснить с помощью регрессионного уравнения. Если используемое математическое описание соответствует процессу, то остатки являются случай- ными ошибками. Сумма квадратов остатков называется суммой квадратов отно- сительно регрессии. Обозначим ее как

Пригодность уравнения регрессии для предсказания значений функции откли-

ка зависит от того, какая часть суммы SSyy относительно среднего приходится на сумму SSy€y , обусловленную регрессией, и SSyy€ относительно регрессии. Оче-

видно, что точность предсказания будет высокой, если SSy€y , обусловленная рег-

76