Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Автоматизация научных исследований..pdf
Скачиваний:
17
Добавлен:
15.11.2022
Размер:
6.27 Mб
Скачать

значения принадлежат некоторой области Qt п -мерного пространст­ ва. Выходную переменную у будем в дальнейшем называть зависимой переменной, целевой величиной или выходом процесса, протекающего в исследуемом объекте. В общем случае можно сказать, что между вы­ ходной переменной у и независимыми переменными существует функциональная связь

У = У(х),

(5.1)

= (х12,...,хп)'/

(5.2)

Здесь х - вектор значений независимых переменных; Т - знак транс­ понирования вектора. Зависимость (5.1) на практике часто бывает не­ известна, и тогда ее пытаются найти путем обработки эксперимен­ тальных данных.

Поскольку всякий эксперимент связан с появлением случайных ошибок, то при построении математической модели на основе экспе­ риментальных данных необходимо использовать методы обработки результатов эксперимента, т.е. методы математической статистики. Наиболее часто при решении этой задачи применяется метод наи­ меньших квадратов.

5.2.Метод наименьших квадратов

5.2.1. Постановка задачи

Пусть требуется на основе экспериментальных данных построить модель исследуемого объекта. При этом прежде всего необходимо составить себе какое-то представление о структуре этой модели. Из физических соображений можно, например, предположить, что взаи­

мосвязь между у и х, линейна,

 

у(а,х) = а0 +а,х, + а2х2+... + а„х„.

(5.3)

При этом а, является неизвестным параметром исследуемого объек­ та, оценки которого требуется найти путем обработки эксперимен­ тальных данных. В случае, если характер связи описывается квадра­ тичной функцией, имеем

у(а,х) =а0+а,х, + а2х2+... + апхп+ а„+1х,х, + апу2х2х2+... +

 

+ З Д Л . + «2Я+1*!*2 + Я2»+2*1*3 + - +

+

(5-4)

+ Яз„х2х3+... + а*х„_,х„.

 

 

Здесь

п + 2 {п + 2)(п + 1 )

к + 1=

Обычно коэффициенты квадратической модели (5.4) нумеруются не по порядку, а так, что коэффициент при функции - обозначается через я, :

У ( а , х ) = я0 + £ я,х, + J a ^ x ,

+ ^ а их ] ,

(5.5)

(=1

7.<=1

1=1

 

где al,alj,all - коэффициенты, характеризующие соответственно ли­ нейные эффекты, эффекты взаимодействия и квадратичные эффекты. Коэффициенты aQ,al,aIJ,all называются коэффициентами регрессии,

а уравнение (5.5) - уравнением регрессии.

Модели полиномиального вида имеют большое значение в связи с тем, что с их помощью любая аналитическая функция (5.1) может быть описана как угодно точно. Однако с увеличением степени поли­ нома весьма существенно увеличивается число оцениваемых пара­ метров модели и соответственно затраты на эксперимент. Так, если

степень полинома есть т , то

 

 

(* + !) =

п + т

(п + 1)(и + 2 )...{п + т)

(5.6)

т

т\

 

 

В дальнейшем мы будем иметь дело с моделями вида

 

 

 

у = у(х,а),

(5.7)

где а - вектор параметров модели,

 

 

а = (at,a2,...,ak)'

(5.8)

Примем, что модель (5.7) линейна относительно коэффициентов а,,

т.е.

 

у(х,а) = я0/ 0(х) + a j x(х) +... + a j k(х).

(5.9)

При этом /(х ) - известные функции, являющиеся

компонентами

вектора

 

Д х) = (Л(х),У;(х),...,/А(х))'/

(5.10)

Используя векторные обозначения, вместо (5.9) можно записать

у = а‘ f{x) = f ‘\x)a.

(5.11)

В случае модели (5.3) или (5.4) получаем соответственно следующие выражения для компонент / (х):

/(х) = (1,х„х2,...,х;>)/

(5.12)

и

/(х ) = (1,Х1,Х2,...,Х я,Х]Х1,Х2Х2,...,Х 11Х)„

(5.13)

Х|Х2,Х|Х2,...,Х|ХП,Х2Х2,...,Х||_|ХП)

Для истинных значений вектора коэффициентов а в (5.11), которые будем обозначать через а , требуется найти оценки а , используя для

этой цели результаты эксперимента. При этом оценка у

для у рас­

считывается по формуле

 

 

 

у =а‘f{x) = f r{x)a.

(5.14)

Эксперимент проводится в N точках

 

1

2

N

 

X

, Х

V ..,JC

 

с координатами

 

 

 

х'=(х;,х',...,х;)7 ,/-1,2,...,^

(5.15)

Результаты наблюдений у' в точках х' представляются с помощью вектора наблюдений

Y = (y',y2,...,yNjr

(5.16)

Вкаждой точке х' может быть поставлено v опытов, результатами которых будут

Г, у ,2, - , Г

Вэтом случае в качестве у 1 используется среднее значение наблюде­

ний в точке х'

^ = 1 (^ + у'2+... + Г ) .

(5.17)

v

 

Задача состоит в том, чтобы на основе результатов (5.16) найти наи­ лучшие в определенном смысле оценки a n y

5.2.2. Решение задачи определения математической модели исследуемого объекта

Чтобы решить задачу, сформулированную в разделе 5.2.1. необ­ ходимо сначала выяснить, что следует понимать под наилучшими оценками.

Будем исходить из того, что модель вида (5.11) является адекват­ ной (т.е. модель вида (5.11) соответствует действительности). Вопросы о том, что произойдет, если (5.11) не соответствует действительности, и как на основе экспериментальных данных проверить адекватность модели, будут обсуждаться в разделах 5.2.4 и 5.2.5 соответственно.

Сопоставим теперь друг с другом экспериментальные результаты

(5.16), отражающие действительность, и значения

 

Y = {y \y \.,.,y N)‘

(5.18)

рассчитанные с помощью оценки а и представляющие модель (5.14). Имеем

 

у' = arf(x') = f r(x')a,i = 1,2,..., iV

(5.19)

или соответственно

 

 

 

 

 

где матрица F имеет вид:

Y = Fa,

 

 

(5.20)

 

 

 

 

 

 

/оО')

М * 1)

f k(x')

 

 

F =

/ о ( * 2 )

и х 1)

М х 2)

(5.21)

 

 

 

 

 

 

 

 

fo(xN)

U x N)

/Лх")

 

Результат наблюдения у'

в некоторой точке х' зависит от слу­

чайной ошибки е'

 

 

 

 

 

 

 

 

e " = y ' - y ' , /

= l,2,...,W,

(5.22)

где у' -

истинное

значение выходной

переменной

в точке

x'J = 1,2,..., N

Множество значений ошибок в N экспериментальных

точках может быть представлено вектором е

вида

 

 

 

 

e = Y - Y

 

 

(5.23)

Здесь черта сверху в (5.23) означает истинное значение вектора. Наложим на результаты наблюдений три условия, которые на

практике, как правило, выполняются:

1 ) результаты эксперимента свободны от систематических оши­ бок, т.е. математическое ожидание величины у' равно действитель­

ному значению у ' :

 

М[?) = 7 = ( y \ f , . . . , y N)r = F a ,

(5.24)

т.е.

 

М[е] = 0;

(5.25)

2 ) результат наблюдения в точке xJ не зависит от результата в точке х , т.е.

М{{у‘ - y')(yJ - / ) } = 0 для / * j

5.26)

или

 

M{e'eJ} = 0 для i*j",

(5.27)

3) дисперсия результатов наблюдений во всех точках х'

одинако-

ва, т.е.

 

D(y') = М[(у‘ - у')2] = cf2 для всех i

(5.28)

или

 

D(e') = М[(е)2~\ - а 2 для всех /.

(5.29)

Условия 2 и 3 выполняются, если

 

М[еет] = о21

(5.30)

где / - единичная матрица размерности N *N

Наложим еще два условия на оценки а , обратив внимание на то, что оценки а , полученные на основе обработки случайных результа­ тов наблюдений, представляют собой некоторых случайный вектор.

1) оценка а не должна содержать систематических ошибок (т.с.

оценка а должна быть несмещенной)

 

М[а] = а\

(5.31)

2) дисперсия а 2 оценки а, должна быть минимальной:

 

ст2 = D[a] = М[(а, - а,)2] = min,/ = 0,1,2,..„А:.

(5.32)

При этом рассматривается класс оценок, образуемых линейными

комбинациями результатов наблюдений y ‘,(i = 1,2,...,У) .

Эти два требования представляют собой только одну из многих возможных конкретизаций понятия «наилучшая оценка». Вместо вто­ рого требования могут быть использованы такие условия, как

maxiа, - а,I = min

0<i &k ' 1

или

maxiу, - у,| = min

os,s/VK'

ит.д.

Условие (5.32) является наиболее приемлемым, так как оно приво­ дит к методу наименьших квадратов и при нормально распределенных

результатах наблюдений в каждой точке х' позволяет провести стати­ стический анализ полученных оценок, а также проверить адекватность модели.

Теоретическую основу метода наименьших квадратов составляют

следующие утверждения:

 

 

Утверждение 5.1.

Оценка а

удовлетворяет условиям

(5.31)

и (5.32), если сумма

 

 

 

s = T.(y

-у'У = Y - Y

= (Y - Y f ( Y - Y )

(5.33)

/=1

 

 

 

минимальна, т.е.

 

 

 

 

S(a) = minS(a).

(5.34)

 

а

 

 

Очевидно, что S в (5.33) является функцией а, причем в силу (5.20) можно записать, что

S = (Y - Fa)' (Y - Fa) ,

т.е.

5 = S(a) = Y 'Y + arF rFa - 2Y TFa.

(5.35)

S является расширенной квадратичной формой а , которая в слу­ чае невырожденности матрицы F 1F имеет единственный минимум

при

 

a = {FTF y 'F ‘Y

(5.36)

Матрица F 1F не вырождена, т.е.

 

|F 7 F | ф о ,

 

если матрица F имеет ранг к +1. Здесь \А\ - определитель матрицы А .

Утверждение 5.2. Если матрица F имеет ранг

£ + 1, то сумма

квадратов (5.35) достигает минимума при

 

а = (FrF y ] F rY = CF'Y

(5.37)

Матрица С в (5.37) размера (к + 1)х +1)

 

C = (FrFy'

(5.38)

называется дисперсионной матрицей.

Для пояснения утверждения 5.2 рассмотрим пример.

Пример 5.1. Выход у исследуемого объекта зависит от длительно­ сти реакции t и температуры Т Эту зависимость можно считать ли­ нейной в окрестностях точки t = 4 ч , Т =220°С .

Меняя t с шагом в 1 ч и температуру с шагом в 10°С, поставим опыты в следующих точках (рис. 5.1):

/ = (4±1) ч, Т = (220±10)°С.

Рис. 5.1

В дальнейшем для упрощения вычислений введем нормированные переменные х, и х2 (рис. 5.1):

х, = t -

.

Т - 220

.

4,х, =

---------

1

2

1 0

 

Для оценивания коэффициентов линейной модели y = a0+aixl +а2х2

проводятся опыты в следующих точках (табл. 5.1). Таблица 5.1

/

 

*2

 

1

1

1

2

1

-1

3

-1

-1

4

-1

I

Результаты опытов (в процентах) представлены вектором

Y = (65,5; 55; 44,9; 55)'

Пользуясь формулами (5.12), (5.21), (5.37), (5.38) и (5.19), получа­ ем следующие результаты:

Г1 1 1'

1 - 1 1

"4

0

0 "

 

'1

0

o'

F rF = 0

4

0 = 4/3,

/3= 0

1

0

0

0

4

 

0

0

1

 

C = (FrF y ' Л

 

 

 

 

 

1

1

1

 

 

CF =■

1

- 1

- 1

,

 

 

4

- 1

- 1

1

 

 

 

 

 

 

a =

oQ>

 

= CF'Y

Л .

'

1

1

1

= -

1

1

- 1

4

1

- 1

- 1

 

 

1

Г

З

 

- 1

а

1

44,9

_

_ 55 _

'55,1'

5,15

Л 15.

у= 55,1 + 5,1 5 л:, + 5 ,1 5 х 2.

5.2.3.Ошибки оценивания при использовании метода

наименьших квадратов

5.2.3.1. Определение показателей точности оценок ai и величины у

Оценки а,., рассчитанные согласно (5.37), отличаются от истин­ ных значений коэффициентов at, причем ошибка тем больше, чем больше дисперсия ошибок наблюдений. Показателями точности оце­ нок at и величины у являются дисперсии о] и сг2 соответственно. Эти дисперсии зависят не только от дисперсии ошибок наблюдений а 2, но и от выбранной структуры модели и точек постановки опытов,

т.е. от матрицы F (см. (5.21)). Для определения этой зависимости не­ обходимо прежде всего найти выражения для ковариационной матри­ цы COV(a) вектора а:

COV(a) = М[(а - а)(а - а)1].

Из (5.37), (5.31) и (5.45) следуют выражения:

а = CFrY

 

а = М[а) = CFrM[Y] = CFrY

 

Используя эти выражения, получаем

 

М[(а - а)(а - а)1] = M[CFr(Y - Y)(Y - ?)' FCr] =

 

= CF' M[(Y - Y)(Y - Y)T]FCr

 

В силу (5.23), (5.24) и (5.30) имеем

 

COV(a) = CFrM[(Y - Y)(Y - Y)T]FCr = CF' FC' a2

 

Поскольку матрица F 1F симметрична, то

 

CF'FC1 =(FrF y 'F rF(FlFT' =C,

 

и для COV(a) получаем

 

COV(a) =Ca2

(5.39)

При этом для дисперсии а ,2 оценки о, имеем

 

a 2 = c,7a 2,

(5.40)

где c„ - i -й элемент главной диагонали матрицы С .

 

Коэффициент корреляции между оценками at и а] определяется

формулой

2

(5-41)

с"см

Дисперсию ст2 для величины у получаем с помощью следующих преобразований:

а? = М[{у - Я 2] = М[((а - a f f i x ) ) 2] = M [ f (х)(а - а)(а - a f fix ) ] = = f (х)М[(а - а)(а - a f) f( x ) = f (x)COV(а\f(x) = / ' (х)Сст2Дх).

Таким образом,

 

o ] = f ‘\x)Cf(x)<y2

(5.42)

5.2.3.2. Определение доверительного интервала для коэффициентов а, при известной дисперсии

ошибок наблюдения а 2

 

С помощью оценок о определяется оценка у функции у :

 

У = агЯ х ) .

(5.43)

При этом можно рассчитать значения оценок выходной переменной в точках х1,i = 1 ,2 ,..., JV

у 1=arf ( x ‘).

(5.44)

Рассчитанные значения выхода исследуемого объекта представляются с помощью вектора

f = (yl,y 2,...,yN)T

(5.45)

При дополнительном предположении о нормальности закона распре­ деления результатов наблюдений в любой точке постановки экспери­ мента случайная величина

X =

 

(5.46)

распределена нормально и имеет место соотношение (рис. 5 .2 )

 

 

х2

(5.47)

/(* ) =

2

 

 

где yj(x) - плотность распределения вероятностей случайной вели­ чины X ; х - возможные значения случайной величины X

Определим вероятность Р(-е < X < е). Имеем (рис 5.2)

 

Р(-е < X <s) = Р(-ъ

<*/

<е) =

 

 

 

 

 

 

 

 

 

 

г2

 

 

t 2

 

 

= ff, (x)dx =- J = \e

2 dx = = (e ~2 dx.

 

 

-V'

-J2n -L

 

 

л/2л 0

 

 

Зададим эту вероятность: Р = (1 - а ) . В результате получим

 

 

Р (-е< 4~Д, <е) =

£1

 

 

 

 

 

\е 2 dx =Р = (\-а) =2Ф(е),

(5.48)

 

О/

О

 

 

 

 

 

где Ф(е) - функция Лапласа, определяемая соотношением

 

 

 

 

е

t2

 

 

 

 

Ф(е) = —^= je

 

2 die.

 

(5.49)

 

 

\ 2 TI о

 

 

 

 

Из (5.48) имеем

2Ф(е) = (1 - а ) .

 

 

(5.50)

 

 

 

 

Определим е из таблицы функции Лапласа из условия

 

 

 

- , .

1 - а

 

 

 

(5.51)

 

 

Ф(е) = —— •

 

 

В

табл. 5.2 приведены значения

доверительной вероятности

(1 - а )

и соответствующие значения s , взятые из таблицы функции

Лапласа.

 

 

 

 

 

 

 

 

 

Таблица 5.2

 

 

Доверительная вероятность (1 - а)

6

 

 

 

0,90

 

 

 

1,64

 

 

 

0,95

 

 

 

1,96

 

 

 

0,99

 

 

 

2,58

 

 

 

0,9973

 

 

 

3,00

 

Из (5.48) имеем

 

 

 

 

 

 

 

Р(-еа, < а, - а, < еа() = 1 - а

 

 

или с учетом (5.40)

 

 

 

 

 

 

 

Р ( - е ^ а

< а, - а, < Су[с~а) =1 - а .

(5.52)

Из (5.52) получим

 

 

 

 

 

 

 

~

^ в/

е^с~(т) = 1 - а .

(5.53)

Доверительный интервал определяется как

 

I = (а,-ел[с~о,а1+ел[с~1о).

(5.54)

При этом доверительный интервал I содержит в себе неизвестное значение а, с доверительной вероятностью Р = (1 - а ) , т.е. значение

а] попадает в доверительный интервал / с доверительной вероятно­

стью Р = (1 - а ) .

Точность оценки неизвестного значения ai определяется как

 

д = Еу[с~а

(5.55)

Длина доверительного интервала 1 равна 26, т.е.

 

26 = 2бу[с~о.

(5.56)

Имеет место следующее неравенство с доверительной вероятностью

Р = (1 - а ) :

 

|а,. - я,|<5.

(5.57)

5.2.3.3. Определение доверительного интервала для коэффициентов а, при неизвестной

дисперсии ошибок наблюдения о 2

Вобщем случае дисперсия ошибок наблюдения о2 не известна

идолжна быть оценена с помощью полученных экспериментальных данных. При этом может быть использована остаточная сумма квад­ ратов S(a) [см. (5.33), (5.34)]:

Si&) = SK= ' Z ( y ' - y ) 2 = Y - Y = (Y - Y ) T(Y - Y ) .

(5.58)

i=I

 

Эта сумма квадратов имеет

 

<р = ЛГ-*-1

(5.59)

степеней свободы [N слагаемых, между которыми существует k +1 линейная связь, определяемая системой уравнений (5.37)].

Величина

а1

а" =

ф

является несмещенной оценкой дисперсии ошибок наблюдений сг Оценка а 2 для дисперсии ст2 вычисляется аналогично формуле (5.40) с помощью выражения

а? =сйа 2,/ = 0,1 ,2 ,...,*.

(5.61)

Величина

(5.62)

подчиняется распределению Стьюдента с ср степенями свободы (рис. 5.3).

На рис. 5.3 обозначено: - плотность распределения вероятно­

стей случайной величины t'v; 7^ - возможные значения случайной величины 7^.

Вероятность того, что < > £ * 2

, определяется по формуле (рис. 5.3)

w , > r ^ ) =

(5.63)

V<*/2

Из таблицы распределения Стьюдента (см. [13, с. 270]) для заданного а находим величину Т^а/2. Например, для ср = 30;а = 0,05;а/2 = 0,025 имеем

7'

- 7'

=2 042

*4>;ot/2

\10;0,025

 

Вероятность того, что случайная величина t‘ попадает в интервал

(-^'а/2.

(p';a/2)> запишется в виде

 

 

 

п -т ^ п s< sг^д) = р ( - т; ^

<

=i .

(5.64)

Из (5.64) имеем

 

 

 

 

 

 

рЫ т п°, £ а, -а, < Т;а/2а,) = 1 - а

 

ИЛИ

 

 

 

 

 

 

 

р (а, ~ С /2^, ^ а<^ “, +С /2^-) = 1 - «•

(5.65)

Выражение (5.65) с учетом формулы (5.61) имеет вид

 

 

р (а, ~ (p'a/2

 

а, +

^ ';а/2 ^

а ) = 1 - а .

(5.66)

Следовательно, доверительный интервал /

вида

 

 

* = ( 4 -Х1-ф4сА

Ч + ^.аплЯ,°)

(5.67)

содержит

в себе а( с

заданной

доверительной вероятностью

Р = (1 - а ) , т.е. значение

а,

попадает в доверительный интервал I

с доверительной вероятностью Р = (1 - а ) .

 

 

Точность оценки неизвестного значения а, определяется как

 

 

8 , = й « / 2 л £ >

 

(5 -6 8 )

Длина доверительного интервала I равна 26,, т.е.

 

 

 

2 8 , - 2 ^ ^ -

 

(5 -6 9 )

С доверительной вероятностью Р = (1 - а)

имеет место следующее

неравенство:

 

 

 

 

 

 

 

 

|a ,- a ,|< 6 ,.

 

(5.70)

5.2.3.4. Проверка значимости коэффициентов а,,/ = 0,1,2,...,А:

математической модели исследуемого объекта

 

Для проверки значимости коэффициентов ani = 0,1,2,..., А

матема­

тической модели исследуемого объекта используется величина

 

 

С

= - ^

г‘ = °^2,...,А,

(5.71)

 

 

 

сг

 

 

 

которая имеет распределение Стьюдента с числом степеней свободы Ф. Выдвигается гипотеза Н0: а, = 0, т.е. коэффициент а, считается незначимым. При этом альтернативная гипотеза формулируется сле­ дующим образом: Я,: а,* 0, т.е. коэффициент а, считается значи­ мым и значительно отличается от нуля.

При проверке гипотезы Я0: а, = 0 используется величина

<=■?-,/= 0,1,2

(5.72)

имеющая распределение Стьюдента с числом степеней свободы ф (рис. 5.4).

На рис. 5.4 обозначено: /((,')

-

плотность распределения вероятно­

стей случайной величины t'^;

-

возможные значения случайной ве­

личины 7 ; а - уровень значимости, который выражает вероятность того, что гипотеза Я0 отвергается, когда в действительности она вер­ на; S0 - область принятия гипотезы Я0; 5, - область отклонения ги­ потезы Я0; 7ц.ф - критическое значение распределения Стьюдента при известных ф и а .

Критическая область 5, для случайной величины 7 задается не­ равенствами

или

 

 

 

 

 

 

 

 

(5.74)

Область SQдля случайной величины t'

задается неравенством

 

—t ‘

< t‘

< t '

 

*q>;a/2

~ V,a/2

Запишем вероятность выполнения неравенства (5.74). Имеем

 

 

 

 

(5.75)

Вычисленная величина |/ф| сравнивается с критическим значением

/ф'.а/2. Если

|/,'р| > Хё-ап’ то нУлевая гипотеза

Н0: а, = 0 на уровне зна­

чимости а

отвергается, т.е. коэффициент я, является значимым

и существенно отличается от нуля. Напротив, если |^| < ^р'а/2, то нуле­ вая гипотеза Я0: Ц = 0 принимается, т.е. коэффициент я, является незначимым и, следовательно, нельзя утверждать, что коэффициент я, существенно отличается от нуля.

Заметим, что в общем случае оценка я, и ее дисперсия зависят от оценок всех других коэффициентов ap j * i

Если тот или иной член исключается из уравнения математиче­ ской модели (например, из-за незначительности соответствующего коэффициента), необходимо пересчитать оценки всех остальных ко­ эффициентов и их дисперсии. При этом могут измениться как довери­ тельные интервалы для коэффициентов, так и выводы относительно значимости коэффициентов.

Пример 5.2. Продолжим рассмотрение примера 5.1. Рассчитаем прежде всего Y Имеем

65,4

55.1

44,8

55.1

Найдем остаточную сумму квадратов S,{ по формуле (5.58). Получим

Slt = 4(0,1) 2 = 0,04.