Планирование эксперимента. Учебное пособие

Понятно, что определить параметры проще, чем вид функции в целом. Эти параметры называют коэффициентами регрессии. Известные функции fk называют базисными. Наиболее часто в качестве базисных функций используются:

а) системы ортогональных полиномов (Эрмита, Лежандра и др.); б) тригонометрические функции;

в) полиномиальные выражения, включающие в себя различные степени факторов и их произведения.

Если в последнем случае сохранить среди базисных функций только f0 = 1 и первые степени факторов, то ϕ(X) становится линейной функцией этих факторов.

Стандартом [1] для нее рекомендовано название модель регрессионного анализа первого порядка или линейная модель. Такие модели в теории планирования эксперимента изучены наиболее полно. В практическом плане они также перспективны, поскольку часто можно рассчитывать на удовлетворительные результаты при замене достаточно гладкой нелинейной функции ее линейным приближением. В геометрической интерпретации это означает замену криволинейной поверхности отклика плоскостью (гиперплоскостью в пространстве более двух факторов) в области, где проводится эксперимент.

Для удобства использования зависимость (1.7) обычно записывают в форме

где всегда x0 = 1. Эту величину называют фиктивным фактором. Число факторов формально возрастает до (n+1). Такой прием ничего не меняет в сути дела, но способствует краткости записи некоторых формул.

В ряде случаев представляют интерес частные случаи зависимости, полная форма которой имеет вид (полиномиальная модель)

Она содержит помимо базисных функций линейной модели (1.8) произведения различных факторов по два, по три и т. д. вплоть до произведения всех факторов, а также квадраты факторов.

Итак, рассматривается зависимость вида (1.6) и ставится задача опреде-

ления коэффициентов регрессии β0, β1, ..., βs по результатам эксперимента. Еще раз подчеркнем: в каждом опыте отклик может быть найден лишь в сочетании с помехой (см. формулу (1.4)), а значит, представляет собой случайную величи-

11

ну. Поэтому в результате эксперимента, какой бы обработке он ни подвергался, вместо β0, β1, ..., βs могут быть найдены лишь более или менее близкие к ним случайные величины b0, b1, ..., bs. В математической статистике и в ПЭ эти величины называют оценками коэффициентов регрессии. Разработаны методы выяснения точности оценок, а также работоспособности построенной на их основе модели в целом. Подробнее об этих методах будет сказано в конце главы

2.

А пока констатируем, что на основании всех изложенных выше соображений математическая модель объекта может быть представлена зависимостью

Символ « » над обозначением y означает, что эта зависимость описывает теоретическое (предсказанное, модельное) значение отклика в отличие от того, что может быть при тех же значениях факторов получено в опыте. В стандарте [1] эта зависимость названа оценкой функции отклика.

Оценки b0, b1 ..., bs должны быть тем или иным способом определены по результатам эксперимента.

§ 1.3. Определение оценок методом наименьших квадратов. Система нормальных уравнений (СНУ)

Среди всех возможных методов определения оценок коэффициентов регрессии наиболее распространен метод наименьших квадратов (МНК). Это объясняется его логической обоснованностью и простотой связанных с ним математических операций.

Представим полученный в результате эксперимента материал в виде набора использованных значений факторов, объединенных в матрицу спектра плана Р, и столбца соответствующих откликов Y

опыта, а k − номер базисной функции, и тоже объединим в матрицу размера N × (s + 1), обозначив ееF

12

Составим выражение для невязки εj − разности между предсказанным по формуле (1.10) и полученным в опыте с номером j откликом yj :

Объединим все невязки в один показатель E , возведя их в квадрат и сложив,

j=1

Этот показатель и является критерием выбора оценок по методу наименьших квадратов. Он обладает рядом примечательных свойств. Вопервых, он охватывает невязки всех опытов. Во-вторых, он обращается в 0 в идеальном случае совпадения всех оценок с соответствующими коэффициентами регрессии и при отсутствии помех. В-третьих, он безразличен к знаку невязки. В-четвертых, благодаря операции возведения в квадрат, усиливается вклад больших невязок в общий критерий. Наконец, как скоро выяснится, он приводит к весьма простым математическим операциямпри нахождении оценок.

Идея МНК состоит в выборе оценок так, чтобы обеспечить минимум E . Согласно известной теореме классического анализа необходимым условием минимума является равенство нулю частных производных E по всем искомым оценкам bk (k = 0, 1, ..., s), на основании чего получим1

1Вообще говоря, следовало бы учесть и достаточное условие минимума. Однако можно показать, что в рассматриваемом случае оно выполняется.

13

После сокращения на 2 и перестановки слагаемых (1.15) приводится к виду

Эта система (s + 1) линейных алгебраических уравнений относительно (s + 1) неизвестных b0, b1,..., bs носит название системы нормальных уравнений (СНУ) метода наименьших квадратов. Здесь она записана в скалярной форме.

Теперь на первый план выходят вопросы существования, единственности и точности решения СНУ. Для анализа этих вопросов удобнее представить СНУ в матричной форме.

§ 1.4. СНУ в матричной форме и анализ решений

14

Эта квадратная матрица носит название информационной матрицы Фишера. Ее размер (s + 1) × (s + 1). Из других ее особенностей следует отметить свойство симметрии: равенство элементов, расположенных симметрично относительно главной диагонали.

Построив произведение (FTF)B, непосредственной проверкой нетрудно убедиться, что оно образует столбец левых частей СНУ (1.16). Точно так же проверяется, что произведение FTY образует столбец правых частей, откуда следует

Эта запись и представляет собой СНУ в матричной форме.

Согласно общим положениям линейной алгебры, решение такой системы относительно B существует и единственно, если матрица FTF неособенная, т. е.

ее определитель отличен от 0, и существует обратная матрица (FTF)−1 . Тогда явное выражение для В имеет вид

Как видно из этой формулы, решающую роль в формировании решения играет матрица FTF.

Элементы информационной матрицы Фишера FTF имеют довольно специальный вид: они представляют собой попарные скалярные произведения векторов, составленных из значений некоторых двух базисных функций в N опытах. Эти векторы образуют столбцы матрицы F или строки FT. Определитель такой матрицы называют определителем Грама. Доказано, что определитель Грама не равен 0 тогда и только тогда, когда соответствующие векторы линейно независимы1, т. е. в рассматриваемом случае линейно независимы столбцы матрицы F . В частности, определитель равен 0, и однозначного решения СНУ не существует, если среди столбцов матрицы F есть одинаковые или пропорциональные друг другу.

Другой важный частный случай, также приводящий к отсутствию решения, возникает при s + 1 > N. Это вытекает из еще одного общего положения линейной алгебры: векторы обязательно линейно зависимы, если их число превышает размерность векторного пространства (т.е. число координат каждого вектора). Иными словами, количество опытов всегда должно быть не меньше, чем число искомых оценок коэффициентов регрессии

1Вспомним, что некоторые векторы A1, A2 , ..., Ar линейно независимы, если выражение c1A1 +c2A2 +... +cr Ar обращается в 0 только при равенстве 0 всех числовых коэффициентов c1, c2 ,..., cr .

15

Равенство в этом условии допускается. Планы эксперимента, в которых число опытов совпадает с числом оценок, называют насыщенными.

Отсутствие очевидных нарушений условий линейной независимости еще не избавляет от необходимости проверки неособенности матрицы FTF. Более того, даже неособенная матрица может оказаться практически не пригодной для вычисления оценок, если ее определитель близок к нулю, хотя в точности нулю и не равен. Это может вызвать нежелательно большую чувствительность решения СНУ к изменению их правых частей: малое изменение правых частей (скажем, на единицы или доли процента) приводит к большим изменениям в результатах решения (возможно, в тысячи и более раз)1. Поскольку правые части СНУ содержат значения отклика, всегда искаженные помехой е, возникающая при этом ситуация становится совершенно неприемлемой: найденным оценкам коэффициентов регрессии невозможно доверять.

В линейной алгебре для характеристики чувствительности решения к изменению параметров системы введено понятие числа обусловленности соответствующей матрицы и предложены способы его вычисления. Число обусловленности всегда не меньше 1. Матрицы, числа обусловленности которых близки к этой нижней границе, называют хорошо обусловленными. Они приводят к решениям, мало чувствительным к изменению параметров. Примером хорошо обусловленной матрицы является единичная матрица, а также матрица, отличающаяся от единичной скалярным множителем. Для них число обусловленности в точности равно 1. Матрицы с большими числами обусловленности называют плохо обусловленными. При неточном задании параметров решение соответствующей системы уравнений может оказаться лишенным практического смысла.

Число обусловленности показывает, во сколько примерно раз относительная погрешность решения может увеличиться по сравнению с относительной погрешностью в задании правых частей системы. Непосредственно по величине определителя вынести такое суждение обычно не удается2.

Важно, что добиться хорошей обусловленности матрицы FTF в принципе можно, поскольку ее вид целиком определяется планом, выбор которого при активном эксперименте зависит только от экспериментатора. Теория планирования эксперимента предлагает конкретные виды планов, подходящих с этой точки зрения. Эти вопросы будут подробнее рассмотрены в главе 2.

§ 1.5. Свойства моделей и характеристики планов

Формулировки свойств моделей, получаемых на основе МНК, основываются на том факте (уже упоминавшемся в § 1.2), что оценки коэффициентов ре-

1Решение оказывается чувствительным и к изменению элементов самой матрицы.

2Представим себе диагональную матрицу размера 100 × 100 с элементами 0,1. Ее определитель равен (0,1)100 и исчезающе мал. Однако это хорошо обусловленная матрица.

16

грессии являются случайными величинами вследствие влияния помехи e на результаты эксперимента. Естественно, что свойства помехи непосредственно определяют и свойства модели. Из свойств помехи ранее была упомянута аддитивность, независимость значений в разных опытах и равенство нулю ее математического ожидания me.

В регрессионном анализе считают дополнительно, что значения помехи, фигурирующие в опытах, образуют систему независимых случайных величин, подчиняющихся нормальному распределению и обладающих одинаковой во

всех опытах дисперсией σe2 . Ее называют также дисперсией воспроизводимо-

сти, поскольку именно она определяет различия в отклике при повторении опытов.

При этих предположениях оценки коэффициентов регрессии, полученные методом наименьших квадратов, обладают следующими свойствами, приводимыми здесь без доказательств.

1. Математические ожидания оценок совпадают с самими коэффициентами регрессии, входящими в уравнение (1.7),

В математической статистике оценки, обладающие этим свойством, называются несмещенными.

2. Дисперсия σk2 оценки bk равна

где ckl − элемент строки k, столбца l (или наоборот) той же матрицы.

4. Оценки b0, b1, ..., bs подчиняются совместному (s + 1)-мерному нормальному распределению. Это свойство вытекает из предположения о нормальном распределении помехи. Кстати, предыдущие три свойства имеют место независимо от вида ее распределения.

Как будет видно в дальнейшем, для некоторых планов (FтF)-1 представляет собой диагональную матрицу с одинаковыми элементами. В этих случаях

оценки независимы и обладают одинаковой дисперсией σb2

В общем случае в целях сравнения между собой различных планов экспе-

17

римента полезно использовать понятие эллипсоида рассеивания оценок b0, b1,..., bn. Как известно из общего курса теории вероятностей, эллипсоидом рассеивания системы случайных величин, подчиняющихся нормальному распределению, называется геометрическое место точек в пространстве этих величин, для которых плотность распределения сохраняет заданное постоянное значение. При каждом таком значении геометрическое место этих точек на плоскости представляет собой эллипс, в трехмерном пространстве − эллипсоид, в пространстве большего числа измерений − многомерный эллипсоид.

Рассмотрим некоторые подробности, связанные с эллипсами рассеивания оценок b1, b2; обобщения на многомерный случай не представляют особых трудностей.

β2

Рис. 1. 2. Эллипсы рассеивания оценок

Центры эллипсов располагаются всегда в точке β1, β2, благодаря свойству несмещенности (рис. 1.2). На рис. 1.2 изображены два эллипса рассеивания, оси симметрии которых выбраны параллельными координатным осям b1, b2 (это получится, если оценки независимы; для упрощения так и считается). Известно, что если полуоси эллипса пропорциональны с некоторым коэффициентом h среднеквадратическим отклонениям случайных величин (сейчас это b1, b2), то

вероятность попадания этих величин внутрь эллипса равна 1−e−h2 / 2 .

Пусть h = 3, тогда для меньшего из эллипсов A = 3σ12 , B = 3σ22 , а вероят-

ность составит близкую к единице величину 0,988 89. Для большего эллипса (изображен пунктирной линией) среднеквадратические отклонения взяты в два раза больше, а вероятность попадания в него та же.

Таким образом, по эллипсам рассеивания удобно судить о разбросе оценок. В частности, представляют интерес такие показатели, как площади эллипсов, размеры и отношения их полуосей.

Что касается оценки yˆ функции отклика в целом, задаваемой выражением (1.10), то она тоже подвержена разбросу, который зависит от дисперсий оце-

18

нок, а также от того, в какой точке факторного пространства (при каких значениях факторов) определяется yˆ . Для характеристики разброса используют σy2 −

дисперсию оценки функции отклика, рассматривая ее как функцию факторов

х0, х1, ..., хn.

Ее называют также дисперсией предсказания, поскольку yˆ часто исполь-

зуют для предсказания отклика. В качестве обобщающих числовых показателей применяют максимальное, а также среднее значение дисперсии в области изменения факторов.

Обратимся теперь к свойствам, присущим большинству планов эксперимента. Важнейшим из них является ортогональность. Оно заключается в том, что векторы-столбцы матрицы F попарно ортогональны –скалярные произведения любых различных столбцов равны нулю. В результате информационная

матрица FTF оказывается диагональной – все ее элементы равны нулю, кроме расположенных на главной диагонали. Это, в свою очередь, обеспечивает простоту вычислений оценок коэффициентов регрессии (их раздельное отыскание, не требующее решения полных систем уравнений) и позволяет избежать грубых погрешностей вычислений.

В самом деле, вследствие ортогональности матрица (1.18) принимает вид

Обратная матрица (FTF)−1 также оказывается диагональной с элементами 1/ ai .

Поэтому, записывая выражение (1.20) для B в скалярной форме, получим с уче-

том (1.17)

Тот же результат можно получить из уравнений (1.16). Ортогональность планов

вдальнейшем еще будет обсуждаться.

Кчислу желательных свойств относится ротатабельность. Для ротата-

бельных планов дисперсия предсказания сохраняет постоянное значение в точках факторного пространства, находящихся на равном расстоянии ρ от центра

19

плана, которое определяется формулой

ρ = x12 +... + xn2 .

Иными словами, в факторном пространстве геометрическим местом точек с равной дисперсией предсказания являются гиперсферы. При выборе разных, но находящихся на поверхности гиперсферы точек плана происходит поворот соответствующих векторов. Это и объясняет происхождение термина «ротатабельность».

Однако следует учитывать, что в пространстве естественных значений факторов расстояния зависят от выбора единиц измерения. Поэтому в таком пространстве геометрическое место точек с равной дисперсией предсказания совсем необязательно оказывается гиперсферой, а вслед за тем свойство ротатабельности теряет свое значение. Впрочем, это свойство полезно, когда выбор единиц измерения существенно не сказывается (если физическое содержание всех факторов одно и то же: скажем, это температуры разных точек объекта).

Существует также большое количество критериев, по которым те или иные планы оказываются оптимальными, т. е. обеспечивают экстремум критерия. Рассмотрим некоторые из них, используемые чаще всего.

Принято подразделять критерии оптимальности на две группы. К первой относят критерии, связанные со свойствами оценок коэффициентов регрессии.

Это – критерии D-, A-, E-оптимальности. Ко второй − критерии G- и Q- оптимальности, связанные со свойствами σy2 . Пояснения к этим критериям да-

дим в основном с помощью геометрических представлений, хотя существуют и алгебраические формулировки их признаков.

План называется D-оптимальным, если он минимизирует объем эллипсоида (возможно, многомерного) рассеивания оценок.

План называется А-оптимальным, если он минимизирует сумму квадратов осей эллипсоида рассеивания. При этом оказывается минимальной длина диагонали параллелепипеда, описанного вокруг эллипсоида.

План называется Е-оптимальным, если он минимизирует максимальную ось эллипсоида рассеивания.

Очевидно, все эти критерии ориентированы на то, чтобы в том или ином смысле уменьшить эллипсоид рассеивания и тем самым сократить разброс оценок.

План называется G-оптимальным, если он минимизирует максимальную дисперсию σy2 в области изменения факторов.

План называется Q-оптимальным, если он минимизирует среднюю по области дисперсию σy2 .

20