Инженерные методы.Слайды - часть 2
.pdfТочность уравнения регрессии
Точность предсказания будет высокой, если сумма квадратов, обусловленная регрессией, будет много больше суммы относительно регрессии
|
|
|
|
|
|
|
|
|
= |
|
|
SS ˆ |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
R2 |
|
|
|
|
|
|
yy |
|
не должно слишком отличаться от единицы |
||||||||
|
|
|
|
|
|
SSyy |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
SS |
|
|
|
|
||||||||
|
|
|
|
|
|
|
2 |
= |
|
yy |
|
общая дисперсия |
|
|
|||||||||
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
Sy |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
n − 1 |
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
SS |
|
|
( y - yˆ |
)2 |
|
å( y - b - b x )2 |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
å |
|
|
|
|||||||||
|
|
|
|
|
|
yyˆ |
|
|
|
|
|
остаточная |
|||||||||||
|
|
|
|
|
|
|
|
|
|||||||||||||||
Sy2,ост |
= |
|
|
|
|
|
= |
|
|
|
i i |
|
= |
i 0 1 i |
|
||||||||
|
|
n - 2 |
|
|
|
n - 2 |
|
n - 2 |
дисперсия |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
2 |
|
|
|
1 |
(å y0,i ) |
2 |
|
|
|
|
|
|
|
|
|
|
2 |
|
|
дисперсия |
||||||
|
|
|
|
|
|
|
|
å( y0,i - y0 ) |
|
|
|||||||
|
|
1 |
m |
|
|
|
|
|
|
å y0,i |
- |
|
|
|
|
||
|
|
|
|
|
|
|
m |
|
|
|
|||||||
y0 |
= |
|
å y0,i |
|
|
2 |
|
i=1 |
|
|
|
|
|
|
|
воспроизводимости |
|
|
|
|
|
|
|
|
|
||||||||||
m |
Sвос |
= |
|
|
= |
|
|
|
|
|
|||||||
|
|
i=1 |
m -1 |
|
|
m -1 |
|
|
|
||||||||
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Инженерные методы обработки |
11 |
результатов эксперимента |
Точность уравнения регрессии
Проверяется, значимо ли отличается остаточная дисперсия от дисперсии
воспроизводимости
|
|
|
|
|
2 |
|
|
|
F = |
S |
|||||
|
|
|
y,ост |
||||
|
|
|
|
|
2 |
|
|
α |
|
|
|
S |
|
||
|
|
|
|
вос |
|||
ν1 = n - 2 |
по таблице определяется Fкр |
||||||
ν2 = m - 1 |
|
|
|
|
|
|
|
Сравниваем значения
F и Fкр
F > Fкр
Более вероятно, что остаточная
дисперсия включает в себя наравне со случайными отклонениями систематическую погрешность,
обусловленную несоответствием математического описания реальному процессу. В этом случае
уравнение регрессии признается неадекватным
F < Fкр
Наблюдаемые отклонения результатов эксперимента от линии регрессии можно объяснить только влиянием случайных возмущений,
поэтому найденное уравнение регрессии признается адекватным реальному процессу
|
Инженерные методы обработки |
12 |
результатов эксперимента |
Точность уравнения регрессии
Если остаточная дисперсия будет меньше дисперсии воспроизводимости, то следует проверить, значимо ли они отличаются друг от друга
|
|
|
|
|
вос2 |
|
F = |
S |
|||||
|
|
|
y2,ост |
|
||
S |
||||||
α |
|
|
|
|
|
|
ν1 = m - 1 |
по таблице определяется Fкр |
|||||
ν2 = n - 2 |
|
|
|
|
|
|
Сравниваем значения
F и Fкр
F > Fкр
Погрешность экспериментальных данных существенно выше, чем
погрешность расчета по уравнению регрессии, полученном на основе этих данных.
Такая ситуация формально невозможна
F < Fкр
Остаточная дисперсия и дисперсия воспроизводимости статистически неразличимы, поэтому погрешность
прогнозирования поведения функции отклика по уравнению регрессии находится в пределах погрешности опытов. В этом случае уравнение
регрессии признается адекватным
|
Инженерные методы обработки |
13 |
результатов эксперимента |
Точность уравнения регрессии
При отсутствии параллельных опытов невозможно оценить дисперсию воспроизводимости. Поэтому качество уравнения регрессии можно оценить,
сопоставив общую дисперсию относительно среднего с остаточной дисперсией
|
|
|
|
|
|
|
y2 |
|
|
|
|
|
|
F = |
S |
|
|
|
|||||
|
|
|
|
y2,ост |
|
|
|
|
|||
|
|
S |
|
|
|
||||||
α |
|
|
|
|
|
|
|
|
|
||
ν1 = n - 1 |
|
по таблице определяется Fкр |
|||||||||
ν2 = n - 2 |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
||
|
|
Сравниваем значения |
|||||||||
|
|
|
|
F и Fкр |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
||
|
|
F > Fкр |
|||||||||
|
|
|
|
F < Fкр |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Уравнение регрессии |
|
Уравнение регрессии признается |
соответствует результатам |
|
|
|
неадекватным |
|
экспериментов |
|
|
|
|
|
|
|
|
|
Инженерные методы обработки |
14 |
результатов эксперимента |
Исследование коэффициентов и уравнения регрессии
Параметры ti, характеризующие разброс значений коэффициентов регрессии bi относительно βI и рассчитываемые по формуле
|
|
|
|
|
|
|
|
ti |
= |
bi |
− |
βi |
имеют распределение Стьюдента |
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
Sb |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y,ост x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y,ост |
|
|
|
||||||
|
|
|
|
|
S |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
|
|
|
||||||||
Sb = |
|
|
|
|
|
|
|
|
|
|
|
|
|
Sb = |
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
2 |
|
|
1 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
1 |
|
2 |
|
|
|||||||||||||
0 |
|
|
(å xi ) |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
(å xi ) |
|
|
||||||||||||||||||
|
å xi |
- |
|
|
|
|
|
|
|
|
|
|
å xi2 - |
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
α/2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
по таблице определяется tкр |
|||||||||||||||||||
|
|
ν1 = n - 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
Доверительные интервалы: |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
b% |
|
= b ± |
|
|
|
|
|
t |
|
|
|
b% |
= b ± |
|
|
|
t |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
S |
b |
|
кр |
|
b |
кр |
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
0 |
|
|
|
|
0 |
|
|
|
|
|
|
1 |
1 |
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Инженерные методы обработки |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
результатов эксперимента |
Исследование коэффициентов и уравнения регрессии
Для линии регрессии среднеквадратическое отклонение равно
|
|
|
|
|
|
|
|
1 |
|
|
|
(x - x )2 |
|
|
|
|
||||
Syˆ |
= Sy,ост |
|
|
|
|
|
|
|||||||||||||
n + |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
å x2 |
- |
|
1 |
(å x )2 |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
n |
i |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
Доверительный интервал: |
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
y% = b + b x ± |
|
|
t |
|
|
1 |
+ |
|
|
(x - x )2 |
|
|||||||||
S |
|
|
|
|
|
|||||||||||||||
|
|
|
|
n |
|
å x2 |
- 1 |
(å x )2 |
|
|||||||||||
0 |
|
|
1 |
|
|
|
y,ост |
кр |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
n |
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Предположим, что X и Y образуют систему случайных величин с совместным распределением вероятностей f(X,Y). В этом случае коэффициент корреляции
|
|
å(xi - x )( yi - y ) |
|
|
|
|
|
|
rxy |
|
|
|
|
|
|
|
rxy = |
|
|
|
tr |
= |
|
|
|
|
n - 2 |
|
> tкр |
||||
|
|
|
|
|
|
|||||||||||
|
å(x - x )2 |
å( y - y )2 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
1- r2 |
||||||||
|
|
i |
i |
|
|
|
|
|
|
|
|
|
xy |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Инженерные методы обработки |
16 |
результатов эксперимента |
Исследование коэффициентов и уравнения регрессии
Предположим, что X и Y образуют систему случайных величин с совместным распределением вероятностей f(X,Y). В этом случае коэффициент корреляции
|
|
å(xi - x )( yi - y ) |
|
|
|
|
|
rxy |
|
|
|
|
|
|
|
rxy = |
|
|
|
tr = |
|
|
|
|
n - 2 |
|
> tкр |
||||
|
|
|
|
|
|
||||||||||
|
å(x - x )2 |
å( y - y )2 |
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
1- r2 |
||||||||
|
|
i |
i |
|
|
|
|
|
|
|
|
xy |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Корреляционную зависимость не следует путать с причинной зависимостью. Две независимые величины всегда некоррелированы и для них rxy = 0. Обратное утверждение не имеет места: две некоррелированные величины не обязательно независимы, зависимость между ними может быть нелинейной.
С другой стороны, сильная корреляция двух переменных не обязательно означает причинную взаимосвязь между ними. Возможно, что имеется некоторая иная не учтенная в эксперименте независимая переменная, которая обуславливает значения первых двух таким образом, что между ними наблюдается зависимость, близкая к линейной.
|
Инженерные методы обработки |
17 |
результатов эксперимента |
Нелинейная регрессия
Довольно часто хорошее согласование дает приближение полиномом второй степени
у = a + bx + cx2 |
n |
é y |
- (a + bx + cx2 )ù |
2 |
||
U = å |
|
|||||
|
i=1 |
ë i |
i |
i |
û |
|
|
|
|
|
|
|
ì¶U
ïï ¶a
ï¶U
í
ï¶b
ï¶U
ï¶
î c
=-2å(yi - a - bxi - cxi2 ) = 0
=-2å(yi - a - bxi - cxi2 )xi = 0
=-2å(yi - a - bxi - cxi2 )xi2 = 0
ìan + bå xi + c |
å xi2 = å yi |
|||
ï |
|
+ bå xi2 |
+ cå xi3 = å yi xi |
|
íaå xi |
||||
ïaå x2 |
+ bå x3 |
+ cå x4 |
= å y x2 |
|
î |
i |
i |
i |
i i |
|
Инженерные методы обработки |
18 |
результатов эксперимента |
Нелинейная регрессия
Оптимальный порядок многочлена определяют следующим образом.
Выбирают некоторое 1 ≤ k ≤ n , равное количеству коэффициентов
1регрессии, и по равенству нулю частных производных находят значения этих
коэффициентов
|
) |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
2 |
|
|
y2,ост = å( yi - yi ) |
3 |
|
|
|
y,ост = |
|
|
y2,ост |
||||||||||
|
|
|
S |
S |
|||||||||||||||||
S |
|
||||||||||||||||||||
|
|
|
n - k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сравниваем значения |
|
|
|
|
|
|
|
||||||||
|
4 |
|
|
|
Sy,ост и ε |
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Sy,ост >> ε |
|
|
Sy,ост << ε |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Переходят к описанию |
|
|
|
|
|
|
Старшие коэффициенты |
|
||||||||||||
|
|
|
|
|
|
аппроксимации физически |
|
||||||||||||||
|
полиномом более высокой |
|
|
|
|
|
недостоверны, и в уравнении |
|
|||||||||||||
|
|
|
степени |
|
|
|
|
|
|
|
|
регрессии необходимо |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
уменьшить количество членов |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
y,ост ≈ ε . Однако, |
|||||||||||||||
5 |
Оптимальным признается значение k, при котором |
|
|
S |
|||||||||||||||||
если k ≈ n , то следует поискать более подходящий вид |
|||||||||||||||||||||
|
аппроксимирующей функции. |
|
|
|
|
|
|
|
|
|
|
Инженерные методы обработки |
|||||||||
|
|
|
|
|
19 |
|
|
|
|
|
|
|
|
|
|
результатов эксперимента |
Нелинейная регрессия
Довольно часто вид зависимости принципиально отличается от линейной или параболической по физическим соображениям или по характеру расположения экспериментальных точек.
Для некоторых типов зависимостей подбор коэффициентов уравнения регрессии может быть значительно облегчен путем преобразования переменных и сведения уравнений к линейному или параболическому виду (ниже приведены примеры)
1 |
y = a + b |
x1 = |
1 |
|
x |
|
x |
2 |
y = abx |
ln ( y) = ln (a) + x ln (b) |
|
|
|
|
Sy,ост и ε |
y = a + bx1
y1 = ln ( y), a1 = ln (a) , b1 = ln (b)
При нелинейной регрессии в качестве показателя тесноты связи между |
|||
S |
|
>> ε |
Sy,ост << ε |
величинами х и у применяется корреляционное отношение ηxy, величина |
|||
|
y,ост |
|
|
которого может быть определена через общую и остаточную дисперсии
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
y2 (n −1) |
− |
|
|
|
(n − k ) |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
y2,ост |
|
|
|
|
1 n − k |
|||||||||||||
ηxy = |
S |
S |
|
ηxy = 1 |
− |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
Sy2 (n −1) |
|
F n −1 |
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
0 ≤ |
|
r |
|
≤η |
|
≤1 |
|
В случае линейной регрессионной |
|
ηxy = |
|
rxy |
|
|
||||||||||||
|
|
|
зависимости величины ηxy и rxy |
|
|
|
|
|||||||||||||||||||
|
|
xy |
|
|
|
xy |
|
|
|
|
|
|
совпадают по абсолютной величине |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
Инженерные |
методы обработки |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
20 |
|
|
|
результатов эксперимента |