Планирование и техника эксперимента. Учебное пособие
.pdf
менении значений другого, причем эта связь может проявляться с различной степенью силы.
Выборочный коэффициент корреляции определяют по формуле
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
xi yi |
n |
|
|
|
|
|
|
|
|
|
|||
|
|
|
xв |
yв |
|
|
|
|
||||||||
rx, y |
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
||
|
n |
|
|
|
n |
|
|
. |
||||||||
|
|
|
|
|
|
|||||||||||
|
|
|
xi2 n(xв )2 |
|
yi2 n( yв )2 |
|||||||||||
|
|
i 1 |
i 1 |
|
|
|||||||||||
Коэффициент r может принимать значения от –1 |
|
до +1, т.е. |
||||||||||||||
1 r 1 |
или |
|
|
|
|
|
|
|
|
r |
|
1 |
||||
|
|
|
|
|
|
|
|
|
||||||||
Знак r указывает на направление связи: прямая или обратная. Абсолютная величина r указывает на силу (тесноту) связи.
Оценка тесноты линейной связи (шкала Чаддока)
Значение r |
0-0,1 |
0,1-0,3 |
0,3-0,5 |
0,5-0,7 |
0,7-0,9 |
0,9-0,99 |
1 |
|
|
|
|
|
|
|
|
Теснота ли- |
Нет |
Слабая |
Умерен- |
Замет- |
Высокая |
Очень |
Функцио- |
нейной связи |
связи |
|
ная |
ная |
|
высокая |
нальная |
|
|
|
|
|
|
|
|
При r 0 связь прямая, то есть с ростом х растет у. При r 0 связь обратная, то есть с ростом х убывает у.
Оценку значимости коэффициента парной корреляции (проверку наличия корреляции) выполняют по формуле
to |
r |
n 2 |
|
|
1 r 2 . |
||
|
|
||
Подставив в формулу значение t f ,a / 2 , получают предельное значение коэффициента корреляции, с которым сравнивают r0. При условии
r0 rf ,a / 2 принимается решение о наличии взаимосвязи. Поскольку
для вычисления r используют два расчетных значения x, y , то число степеней свободы f = n –2.
Метод наименьших квадратов. Наиболее простой и употребляемый вид зависимости – линейная зависимость. Она определяется уравнением
31
линейной регрессии ух ах b и изображается на графике в виде прямой
регрессии. Уравнение регрессии называется выборочным, поскольку его параметры a и b находятся по результатам выборки (хi, уi), i = 1, 2, …n, причем наилучшим образом в смысле метода наименьших квадратов. Сущность метода заключается в том, чтобы была наименьшей сумма квадратов откло-
нений наблюдаемых значений уi от соответствующих значений yxi , вычис-
ленных |
по |
уравнению |
регрессии |
y x i |
ax i |
b , |
то |
есть |
|
n |
( ax i |
b y i ) 2 min . |
|
|
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
Удовлетворяющие этому условию параметры a и b находят из системы, которая называется системой нормальных уравнений:
|
b |
n |
|
|
n |
na |
x |
i |
|
||
|
|
i 1 |
|
i 1 |
|
|
n |
|
|
|
n |
|
|
|
|
||
a xi |
b x i2 |
||||
i |
1 |
|
i 1 |
||
y i |
|
|
n |
x i y i . |
|
i |
1 |
|
Зависимость между двумя наблюдаемыми величинами не всегда можно выразить линейной функцией. В таком случае функция регрессии может быть сведена к линейной с помощью замены переменных. Стоит однако учитывать параметры исследуемого процесса и определять с точностью до нескольких параметров вид эмпирической функции регрессии. Для проверки того, удачно ли выбран вид зависимости, следует построить новое корреляционное поле (учитывая замены). В случае если вид зависимости выбран правильно, то точки зависимых переменных будут располагаться вдоль прямой.
Полиномы Чебышева. Метод построения коэффициентов регрессии с применением полиномов Чебышева дает возможность при уточнении уравнения регрессии высоких порядков вычислять коэффициент лишь для вновь присоединяемого члена полинома, в то время как остальные коэффициенты уравнения остаются прежними.
Уравнение регрессии, выраженное через полиномы Чебышева, имеет
вид
32
y b0 P0 (x) b1 P1 (x) ... bk Pk (x) ,
где P0 (x), P1 (x),..., Pk (x) – ортогональные полиномы Чебышева на множе-
стве точек x1, x2, …, xn. Это означает, что для всех u ≠ j выполняется соотношение
n
Pu (xi )Pj (xi ) 0 ,
i 1
где Pk+1(x) зависит только от объема выборки n. Зная многочлены Чебышева Pk+1(x), при каждом увеличении степени уравнения регрессии необходимо вычислять только коэффициент bk+1. Многочлены Чебышева определяются по формулам:
P0 (x) 1,
P1 (x) x n 2 1,
...............................
Pk 1 (x) P1 (x)Pk (x) k 2 (n2 2 k 2 ) pk 1 (x). 4(4k 1)
Например:
P (x) x2 |
(n 1)x |
(n 1)(n 2) |
, |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
||||||
2 |
|
|
|
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
P (x) x3 |
3(n 1) x2 |
6n2 |
15n 11 x |
|
(n 1)(n 2)(n 3) |
, |
|
|
|||||
|
|
||||||||||||
3 |
|
2 |
|
|
10 |
|
20 |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|||||
P |
(x) x4 |
2(n 1)x3 |
9n2 |
21n 4 x2 |
|
(n 1)(2n2 |
7n 10) |
x |
(n 1)(n 2)(n 3)(n 4) |
||||
|
|
|
|||||||||||
4 |
|
|
|
|
7 |
|
7 |
80 |
|||||
|
|
|
|
|
|
||||||||
Определяя коэффициенты b0, b1,…,bk уравнения регрессии по методу наименьших квадратов, получим:
|
|
|
n |
|
|
b |
|
yi |
|
||
i 1 |
|
|
|||
|
|
||||
0 |
|
|
n |
|
|
|
|
|
|
||
|
|
|
n |
|
|
b |
|
|
yi P1(xi ) |
. |
|
|
i 1 |
||||
|
n |
||||
1 |
|
|
|
||
|
|
yi P12 (xi ) |
|
||
i 1
..............................
n
yi Pk (xi )
bk in 1
yi Pk 2 (xi )
i 1
33
Вычисленные таким образом коэффициенты bk не зависят от того, каков будет порядок определяемого уравнения регрессии. При нахождении уравнения регрессии методом последовательных уточнений используются все ранее найденные bk. Повышение порядка уравнения регрессии на 1 приводит к определению только одного коэффициента.
При равноотстоящих значениях аргумента
x2 x1 h, x3 x1 2h,
.....................
xn x1 (n 1)h,
где h – шаг интерполяции, вычисления коэффициентов облегчаются. Сделаем замену переменных:
z |
x z |
1. |
|
h |
|||
|
|
Тогда каждое значение xi заменится своим номером, то есть zi = i. Определим коэффициенты уравнения регрессии вида
y a0 P0 (z) a1P1 (z) ... ak Pk (z) ,
где
a0
a1
|
n |
|
|
|
yi |
|
|
|
i 1 |
|
|
|
n |
|
|
|
n |
|
|
|
yi P1(i) |
. |
|
|
n |
||
|
i 1 |
|
|
yi P12 (i) |
|
||
|
i 1 |
|
|
..............................
n
yi Pk (i)
ak in 1
yi Pk 2 (i)
i 1
Суммы, стоящие в знаменателе, можно определить по сокращенной формуле
n |
2 |
i |
(k!)2 n(n2 1)(n2 4)...(n2 |
k 2 ) |
|
||
Pk |
|
|
|
|
|
, |
|
|
2 |
2k |
(2k 1) |
|
|||
i 1 |
|
|
(2k 1)!! 2 |
|
|
|
|
34
где (2k 1)!! – произведение всех нечетных чисел от 1 до |
2k 1 включитель- |
||||||||||
но. В частности, |
|
|
|
|
|
|
|
|
|
|
|
n |
|
i n(n |
2 |
1), |
|
|
|
|
|
|
|
P1 |
2 |
|
|
|
|
|
|
|
|
||
i 1 |
|
12 |
|
|
|
|
|
|
|
||
n |
|
i n(n |
2 |
1)(n |
2 |
4) , |
|
|
|
|
|
P2 |
2 |
|
|
|
|
|
|
|
|||
i 1 |
|
|
|
180 |
|
|
|
|
|
|
|
n |
|
i n(n |
2 |
1)(n |
2 |
4)(n |
2 |
9), |
|
|
|
P3 |
2 |
|
|
|
|
|
|
||||
i 1 |
|
|
|
2800 |
|
|
|
|
|
||
n |
|
i n(n |
2 |
1)(n |
2 |
4)(n |
2 |
9)(n |
2 |
16). |
|
P4 |
2 |
|
|
|
|
|
|||||
i 1 |
|
|
|
|
|
44100 |
|
|
|
|
|
После получения уравнения регрессии переменную z заменяют обратно на переменную x.
Множественная регрессия. Во многих случаях необходимо исследовать зависимость величины у от нескольких переменных x1, x2, …, xl. Эти переменные x1, x2, …, xl называются факторами, а зависимая переменная y откликом (или параметром оптимизации). Зависимость отклика от изучаемых факторов у = f(x1, x2, …, xl) называется функцией отклика. Поскольку вид функции отклика, как правило, неизвестен, ее представляют в виде полинома (многочлена) и, находя по экспериментальным данным оценки коэффициентов полинома, получают эмпирическое уравнение регрессии в виде
y b0 l bj X j bjt X j Xt l bjj X j 2 ...
j 1 |
j t |
j 1 |
Коэффициент bo называется оценкой свободного члена уравнения регрессии, коэффициенты bj оценками линейных эффектов, bjt оценками эффектов взаимодействия, bjj оценками квадратичных эффектов.
Ограничимся рассмотрением задачи определения коэффициентов линейного уравнения регрессии:
y b0 b1 X1 b2 X 2 ... bl Xl
и квадратичного
y b0 l bj X j bjt X j Xt l bjj X j 2 .
j 1 |
j t |
j 1 |
В некоторых случаях получают уравнение вида
35
|
b0 l |
bj X j bjt X j Xt , |
y |
||
|
j 1 |
j t |
которое называется неполным квадратичным или уравнением с парными взаимодействиями.
Пусть выбран вид функции регрессии и по результатам n наблюдений (опытов) над откликом у и факторами x1, x2, …, xl требуется оценить коэффициенты эмпирического уравнения регрессии.
Поскольку это уравнение линейно относительно параметров bo, bj, bjt, bjj, ..., для оценки коэффициентов можно использовать МНК. Идея обобщения метода наименьших квадратов на случай регрессионной модели такого вида заключается в том, что любое произведение факторов или их степень можно рассматривать в качестве нового фактора.
Упростим систему обозначений, заменив члены второго и более высоких порядков линейными: X l 1 X1 X 2 , X l 2 X1 X 3 ,... Кроме того, введем
фиктивную переменную X 0 1, которая всегда принимает значение 1.
Тогда эмпирическое уравнение регрессии примет вид однородного линейного уравнения
|
|
|
y |
b0 X0 b1 X1 |
b2 X 2 ... bk X k . |
|
|||
|
Аналогично случаю однофакторного влияния записывается система |
||||||||
нормальных уравнений и определяются коэффициенты bo, b1, …, bk: |
|||||||||
|
n |
n |
n |
|
n |
n |
|
||
b0 |
X0i2 |
b1 X0i X1i b2 |
X0i X2i ... |
|
bk X0i Xki X0i yi |
|
|||
|
i 1 |
i 1 |
i 1 |
|
i 1 |
i 1 |
|
||
|
n |
n |
n |
|
n |
n |
|
||
b0 |
X0i X1i b1 X1i2 b2 |
X1i X2i ... |
bk X1i Xki |
X1i yi |
. |
||||
|
i 1 |
i 1 |
i 1 |
|
i 1 |
i 1 |
|||
....................................................................................................... |
|
||||||||
|
n |
n |
n |
|
n |
n |
|
||
|
|
|
|||||||
b0 |
X0i Xki b1 X1i Xki b2 X2i Xki |
... bk Xki2 |
Xki yi |
|
|||||
|
i 1 |
i 1 |
i 1 |
|
i 1 |
i 1 |
|
||
Здесь Хij означает значение фактора Xj в i-м опыте. Система состоит из k + 1 уравнений, а неизвестными являются bo, b1, …, bk.
При вычислении коэффициентов нелинейного уравнения регрессии вводят замену переменных: обозначают через x0, x1, x2, …, xk те факторы или те функции от исходных факторов, при которых стоят неизвестные искомые коэффициенты bo, b1, …, bk. При этом необходимо, чтобы новые перемен-
36
ные были линейно независимы (т.е. их значения не могут быть пропорциональны, не могут линейно выражаться друг через друга).
Проверка значимости коэффициента корреляции и адекватности уравнения регрессии. Для проверки коэффициента корреляции выбирают уровень значимости и определяют число степеней свободы f = n-l (l – количество коэффициентов в уравнении регрессии). По табл. прил. 3 определяют rf, . Если r0 rf, , то найденный коэффициент корреляции обладает высокой степенью значимости.
Для проверки значимости и адекватности уравнения регрессии используют критерий Фишера (F-критерий). Для этого определяют общую дисперсию y2 и остаточную дисперсию 2ост
2 |
|
|
1 |
|
|
|
|
2 |
|
|
1 |
|
|
2 |
|
|
y |
i |
2 |
||
|
|
|
|
yi y |
|
|
|
|
|
|
|
|
|
||||||||
y |
|
|
|
|
|
|
|
|
|
|
|
yi |
|
|
|
|
|
|
|||
n |
1 |
|
n 1 |
|
n |
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ост2 |
|
|
|
1 |
yi yi 2 |
|
|
|
|
|
|
|
|
|
|
||||||
|
n 2 |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
2
и определяют их отношение F0 2y .
ост
Если F0 Fn-1, n-l, , то уравнение статистически значимо описывает результаты экспериментов.
37
6. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА ДЛЯ РЕГРЕССИОННОГО АНАЛИЗА
Планирование эксперимента для регрессионного анализа.
Под экспериментом понимают совокупность опытов, проводимых в определенном порядке с целью получения информации об объекте исследования. Опыт – это воспроизведение исследуемого явления при определенных заданных условиях.
План эксперимента – это совокупность данных, определяющих число, условия и порядок проведения опытов. Планирование эксперимента – это совокупность приемов, позволяющих исследователю выбрать план эксперимента так, чтобы получить максимум информации при минимуме затрат.
В основе планирования эксперимента лежит возможность проводить опыты при заданных исследователем условиях. Такой эксперимент называется активным в отличие от пассивного эксперимента, при котором исследователь не может управлять условиями, а имеет возможность только наблюдать за ходом процесса. К пассивному эксперименту относится, например, сбор данных о каком-либо процессе в режиме нормальной эксплуатации промышленного объекта. Из-за невозможности целенаправленно задавать условия проведения опытов эффективность пассивного эксперимента значительно ниже, чем активного.
Если целью эксперимента является получение зависимости отклика у от факторов x1, x2, …, xn в виде линейного уравнения регрессии, то вся информация о плане эксперимента содержится в матрице базисных функций X (матрица составлена из значений факторов в каждом из опытов; столбцы соответствуют факторам, а строки условиям проведения опытов). Эту матрицу иногда называют также матрицей плана. В случае построения зависимости более сложной, чем линейная, целесообразно различать понятия матрицы плана, содержащей значения изучаемых факторов в каждом из опытов, и матрицы базисных функций, включающей значения тех функций от факторов, которые присутствуют в уравнении регрессии.
Проверка воспроизводимости эксперимента и расчет дисперсии воспроизводимости. Для статистического анализа уравнения регрессии необ-
38
ходимо иметь количественную оценку ошибок эксперимента в целом, то есть общую для всех опытов дисперсию параметра у, которую будем обозначать s2y. Эта дисперсия называется дисперсией воспроизводимости.
Для расчета дисперсии воспроизводимости необходимы повторные опыты, то есть несколько наблюдений над величиной у, проведенных при неизменных значениях основных факторов. При этом если различные опыты повторяются по несколько раз, нужно рассчитать дисперсию для каждого опыта, а затем вычислить общую средневзвешенную дисперсию воспроизводимости. Объединять все наблюдаемые значения у в одну выборку нельзя, поскольку значения отклика в различных опытах могут существенно отличаться из-за разных условий проведения опытов, то есть разных значений основных факторов.
Пусть производится дублирование опытов, то есть каждый из n различных опытов проводится m1, m2, … , mn раз соответственно (рисунок). Обозначим уi u наблюдаемое значение отклика при и-м повторении i-го опыта. Для каждого опыта нужно рассчитать
|
|
1 |
m |
|
|
|
||
|
|
i |
yiu , |
|||||
yi |
||||||||
|
|
|||||||
|
|
mi u 1 |
|
|
|
|||
|
|
1 |
m |
|||||
syi2 |
i ( yiu |
|
)2 , |
|||||
yi |
||||||||
|
|
|
||||||
|
|
|
m 1 u 1 |
|||||
|
|
|
i |
|
|
|
||
fi |
mi 1. |
|
|
|
||||
Здесь yi среднее значение отклика, наблюдаемое в i-м опыте (при i-м комплексе условий), дисперсия s2yi характеризует степень разброса значений отклика в i-м опыте, ее число степеней свободы fi тем больше, чем больше наблюдений проведено при i-м комплексе условий.
Рисунок. Дублирование опытов в эксперименте
39
Одним из условий применимости регрессионного анализа является требование воспроизводимости отклика во всех опытах с одинаковой точностью. Это означает, что дисперсии во всех опытах должны быть примерно одинаковы.
Для проверки воспроизводимости эксперимента проверяют гипотезу об однородности дисперсий в различных опытах, то есть
H 0 : 12 2 2 ... n 2 .
Проверяя гипотезу об однородности наибольшей и наименьшей из сравниваемых дисперсий, можно использовать критерий Фишера.
Если гипотеза об однородности дисперсий принимается, то говорят, что эксперимент воспроизводим. Это означает, что во всех опытах параметр у наблюдается с одинаковой точностью. Для количественной характеристики точности определения значений отклика рассчитывают дисперсию воспроизводимости как взвешенное среднее отдельных дисперсий:
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
f |
S |
2 |
f |
|
S |
2 |
... f |
|
S |
2 |
|
fi S yi2 |
|
|
y1 |
2 |
y 2 |
n |
yn |
|
i 1 |
|
||||||
S y2 |
1 |
|
|
|
|
|
|
, |
||||||
|
|
|
f1 f2 |
... fn |
|
|
|
n |
||||||
|
|
|
|
|
|
|
|
fi |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i 1
еечисло степеней свободы равно fвоспр f1 f2 ... fn .
Внекоторых случаях дублирование опытов не проводится, а для оценки ошибок наблюдения отклика у ставится отдельная серия опытов при одних и тех же условиях (при одних и тех же значениях изучаемых факторов). В этом случае за дисперсию воспроизводимости принимается дисперсия, рассчитанная по полученной выборке, ее число степеней свободы равно объему выборки минус 1.
40
