1. Разложение суммы квадратов в однофакторном ДА.

В п.4.2 рассматривался вопрос включения в регрессию качественных переменных. В случае, когда регрессорами являются только качественные переменные, общепринятым методом исследования выступает дисперсионный анализ (ДА).

В зависимости от числа регрессоров, называемых в ДА факторами, говорят об одно-, двух-, многофакторном ДА. Сами факторы полагаются неслучайными (модель с постоянными эффектами) либо случайными (модель со случайными эффектами). В модели с постоянными эффектами речь идет в основном о сравнении средних значений количественной переменной при различных значенииях факторов, тогда как в моделях со случайными эффектами интересует доля изменчивости, вносимая отдельными факторами. Ниже рассматривается первая модель, для которой ДА часто называют одно-, двух-, многофакторной классификацией.

Однофакторный дисперсионный анализ

Имеется количественная переменная у, определяемая качественной переменной, иначе фактором, принимающимрдискретных значений (уровней). Так, фактором может быть «поставщик», уровнями – определенные фирмы-поставщики, переменнойу– срок службы поставляемого товара. В качестве исходных данных выступает выборка, содержащая ряд наблюдений на каждом из уровней (по нескольку экземпляров определенного товара от каждого поставщика). Необходимо ответить на вопрос – различаются ли по сроку службы объекты от разных поставщиков.

Модель однофакторного анализа: , (5.1)

где – наблюденные значения,N_i –объем выборки для i-го уровня фактора. Параметрmобозначает некоторую точку отсчета,a_i– эффект (вклад)i-го уровня фактора,u_ij– независимые, нормально распределенные случайные возмущения, удовлетворяющие предпосылке 5 классической регрессии.

Модель (5.1) не позволяет однозначно оценить параметры, поскольку можно добавить к mи вычесть изa_iпроизвольную константу. Неоднозначность снимается условием репараметризацииN₁a₁+N₂a₂+…+N_pa_p=0. (5.2)

Оценивание параметров производится по методу наименьших квадратов (МНК). Для минимизации остаточной суммы квадратовнайдем первые производные:

;

.

Обозначим . Из выражений для производных с учетом (5.2) получаем:

. (5.3)

(Точка на месте индекса означает усреднение по этому индексу.)

Результаты измерений принято представлять в виде табл.11.

Таблица 11

Уровни фактора	Наблюдения			Сумма внутри уровня	Среднее по уровню
1					1
р					p.

2. Проверка гипотез в однофакторном ДА.

В ДА основной интерес представляет не столько сами оценки, сколько их сравнение и, в первую очередь, проверка гипотезы Н₀:а₁=а₂=…=а_р=0, означающей одинаковость, неразличимость, воздействий всехруровней. Со статистической точки зрения задачу ДА можно сформулировать так: для каждой изргенеральных совокупностей получено по выборке объемомN_iи необходимо сопоставитьрзначений выборочных средних.

ДА базируется на разложении общей суммы квадратов S₀отклонений наблюденийот общего среднегона составляющие, связанные с рассеянием между уровнямиS_муи рассеянием внутри отдельных уровнейS_ву:

, S_му=, S_ву=.

Подобное разложение получается следующим образом. Обе части тождества

возводят в квадрат и суммируют по iиj:

(5.4)

Последнее слагаемое в правой части формулы (5.4) обращается в нуль в силу выполнения следующей очевидной цепочки равенств:

.

Соотношение (5.4) приобретает вид S₀=S_му+S_ву. СуммыS₀ ,S_му ,S_ву имеютN-1,p-1,N-pстепеней свободы соответственно. Если имеет место проверяемая гипотезаН₀, то каждое из отношений:

может служить оценкой дисперсии ²случайных возмущений. В силу нормальности возмущений отношениеимеетF-распределение. Полученные значения представляют в виде табл.12.

Таблица 12

Источник изменчивости	Сумма квадратов	ЧСС	Среднее	F-отношение
Между уровнями	Sму	p-1		Fр=
Внутри уровней	Sву	N-p
	S0	N-1

Гипотеза Н₀:а₁=а₂=…=а_р=0 отвергается при выбранном уровне надежности (обычно, 95%), еслиF_р>F_Т, гдеF_Т– табличное значениеF-распределения при ЧСС числителя и знаменателяp-1 иN-p соответственно. ПриF_рF_Тделается вывод, что результаты наблюдений не противоречат гипотезеН₀.

3. Схема двухфакторного анализа.

Исследуемая переменная уопределяется теперь двумя факторамиA иВсpиqуровнями соответственно. На каждой изpqкомбинаций уровней доступно по одному наблюдению. ДляN=pqвыборок единичного объема постулируется модель,

где m, a_i, b_j– параметры,u_ij– случайная компонента с теми же свойствами, что и в однофакторном ДА. Условий репараметризации здесь два:.

Применяя МНК, находят оценки параметров: ,,

.

Основная задача двухфакторного ДА – проверка равенства нулю параметров a_iиb_j, т.е. проверка гипотез:Н_А: а₁=а₂=…=а_р=0 иН_В:b₁=b₂=…=b_q=0.

Как и в однофакторном ДА, общую сумму квадратов S₀отклонений от общего среднего можно разложить на составляющие – теперь уже три:S_A=,S_B=, обусловленные изменчивостью между уровнями факторовАиВсоответственно, плюс слагаемое, связанное со случайной составляющей (экспериментальная ошибка).

Схема вывода соотношения S₀=S_A+S_B+S_R (5.5) та же, что и в однофакторном ДА.

За основу положено тождество: .

Исходные данные и результаты двухфакторного ДА принято представлять в виде табл.13 и 14.

Таблица13

Уровни фактора А	Уровни фактора В	Среднее по строкам
	1 2 … q
1 2 p	… … …
Среднее по столбцам	…

Таблица 14

Источник изменчивости	Сумма квадратов	ЧСС	Среднее квадратов	F-отношение
Фактор А	SA	p-1
Фактор В	SB	q-1
Ошибка	SR	(p-1)(q-1)
	S0	pq-1

Гипотеза Н_А(Н_В) считается приемлемой, еслиF_AF_ТА(F_ВF_ТВ), гдеF_ТА ,F_ТВ– табличные значенияF-распределения с ЧСС числителя и знаменателя в соответствии с табл.14.

4. Экспериментальные критерии планирования эксперимента.

Все многообразие критериев планирования эксперимента можно разбить на две большие группы

Вторую группу составляют критерии, зародившиеся в практике планирования эксперимента и ориентированные на удобство расчетов и организации проведения экспериментов (критерии ортогональности и композиционности).

Смысл перечисленных критериев можно пояснить, используя понятие эллипсоида рассеяния случайного вектора. Для случайного вектора аразмерности, ковариационная матрица которого естьcov a, эллипсоид рассеяния задается выражением ,

описывающим эллипсоид в -мерном пространстве с центром в точкеМа. Эта геометрическая фигура имеет такие размеры, что ковариационная матрица случайного вектора, равномерно распределенного в пределах эллипсоида, совпадает с матрицейcov a. Следовательно, чем больше рассеяние вектора относительно его математического ожидания, тем большие размеры имеет эллипсоид рассеяния.

Критерий ортогональностиКритерий ортогональности требует выбора плана, обеспечивающего диагональность информационной матрицы. Использование этого критерия имеет целью упростить вычисления и обеспечить независимость оценок коэффициентов регрессии.

Критерий композиционности Критерий композиционности требует выбора плана, который включал бы в себя точки оптимального плана моделей более низкого порядка. Это обеспечивает сокращение числа опытов при поэтапном усложнении модели.

На практике желательно использовать планы, удовлетворяющие одновременно нескольким критериям. В общем случае такого сочетания свойств не наблюдается. В теории планирования эксперимента доказано, что непрерывный D-оптимальный план является такжеG-оптимальным. УсловиеD-оптимальности дискретного планаимеет следующий вид: . (6.2)

Если для дискретного D-оптимального плана имеет место, то этот план является такжеA-оптимальным.

Построение D-оптимальных планов является сложной вычислительной задачей. Аналитический путь здесь оказывается возможным в некоторых простейших случаях (полиномиальная модель от одной переменной, квадратичная регрессия отпеременных для стандартной области (гиперкуб)). В общем случае для построенияD-оптимальных планов используются численные методы, связанные с минимизацией определителя матрицыСлибо максимизацией определителя информационной матрицыF’F, что несомненно проще в вычислительном отношении.

5. Теоретические критерии планирования эксперимента.

Все многообразие критериев планирования эксперимента можно разбить на две большие группы. Первую составляют критерии, непосредственно учитывающие точностные свойства получаемых оценок. Среди них можно выделить критерии, связанные с точностью нахождения коэффициентов регрессии (критерии A- иD-оптимальности), и критерии, требующие максимальной точности оценки выходной переменной (критерийG-оптимальности).

Смысл перечисленных критериев можно пояснить, используя понятие эллипсоида рассеяния случайного вектора. Для случайного вектора аразмерности, ковариационная матрица которого естьcov a, эллипсоид рассеяния задается выражением ,

описывающим эллипсоид в -мерном пространстве с центром в точкеМа. Эта геометрическая фигура имеет такие размеры, что ковариационная матрица случайного вектора, равномерно распределенного в пределах эллипсоида, совпадает с матрицейcov a. Следовательно, чем больше рассеяние вектора относительно его математического ожидания, тем большие размеры имеет эллипсоид рассеяния.

Критерий А-оптимальности Поскольку точностной характеристикой вектора коэффициентов регрессии является ковариационная матрица, а критерии планирования желательно иметь в скалярной форме, то необходима некоторая свертка ковариационной матрицы. Критерий A-оптимальности в качестве такой свертки использует след матрицы. Поскольку диагональные элементы матрицыСпропорциональны дисперсии оценок коэффициентов регрессии, то при минимизации следа матрицыСминимизируется, по сути дела, суммарная либо средняя дисперсия оценок коэффициентов модели: .

Известно, что сумма диагональных элементов матрицы равняется сумме её собственных значений. Поскольку квадраты длины осей эллипсоида рассеяния пропорциональны собственным значениям ковариационной матрицы, то критерий A-оптимальности требует минимизации диагонали параллелепипеда, описанного у эллипсоида рассеяния.

Критерий D-оптимальности КритерийD-оптимальности требует такого расположения точек в области планирования, при котором определитель матрицыимеет минимальную величину. Иными словами, планD-оптимален, если .

Известно, что объем эллипсоида рассеяния пропорционален корню из величины определителя ковариационной матрицы, т.е.. С учетом (3.8)V.

Чем меньше величина определителя, тем меньше, как правило, разброс оценок коэффициентов относительно их математических ожиданий. Исключением является случай, когда эллипсоид рассеяния имеет сильно вытянутую форму.

Критерий G-оптимальности ПланG-оптимален, если он обеспечивает наименьшую величину максимальной дисперсии оценки зависимой переменной:.

6. Регрессионный анализ факторного эксперимента.

Этапы факторного анализа Вычислительный аспект факторного анализа связан с определением факторного отображения В, дисперсий характерных факторов и оценкой значений общих факторов. Оценка этих параметров производится на основании экспериментальных данных, полученных в ходе наблюдений над N объектами (индивидами). Результаты наблюдений представляются в виде матрицы исходных данных, аналогичной (11.1). По матрице Х вычисляется корреляционная матрица R. Затем начинаются этапы собственно факторного анализа. Первый этап – оценка общностей. Если общности оценены, то по формуле (11.5) можно оценить характерности, а следовательно, и матрицу W, которая является диагональной согласно предпосылкам факторного анализа. Заменяя диагональные элементы матрицы R на оценки общностей, получают матрицу , которая является информационной основой второго этапа выделения факторов. На этом этапе решают тем или иным способом матричное уравнение, получая в итоге ортогональную матрицуA. Возможно большое число матриц A, которые одинаково хорошо будут воспроизводить матрицу . Из них должна быть выбрана одна, что составляет содержание третьего этапа – вращения факторов. И, наконец, на последнем, четвертом, этапе оцениваются значения факторов для каждого объекта (индивида). На практике, однако, из-за большого объема вычислений часто ограничиваются первыми тремя этапами, причем первый и второй выполняются одновременно.

Выделение факторов. Выделение факторов предполагает установление числа и направления осей координат, соответствующих общим факторам, необходимым для отображения корреляции исходных переменных. С алгебраической точки зрения проблема факторов означает определение ранга матрицыАи оценивание ее элементов. Для решения задачи выделения факторов разработано достаточно много методов, однако основными в настоящее время следует признать два: метод главных факторов, наиболее широко употребляемый на практике, и метод максимального правдоподобия, имеющий прочный математико-статистический фундамент.

Метод главных факторов.Как следует из фундаментальной теоремы факторного анализа (11.3),. Приравняем вначалеWнулевой матрице. Получим матричное уравнение(11.6)

Матричное уравнение (11.6) имеет множество решений: любое ортогональное преобразование Т, переводящее матрицуВвG, т.е.G = ВТ, удовлетворяет (11.6). Действительно, в силу ортогональностиТимеет местои, значит,. Подставляя выражение дляВв (11.6), получаем

, поскольку T′T=I.

Как известно из линейной алгебры, ортогональное преобразование системы координат означает поворот системы как целого на некоторый угол вокруг начала координат. Выделяя некоторое предпочтительное направление и фиксируя тем самым угол поворота системы координат, можно обойти проблему неоднозначности решения системы (11.6).

Вернемся на время к методу главных компонент. Выбор осей координат здесь подчинен определенному требованию: каждая следующая ось ориентирована по направлению максимальной дисперсии в пространстве, ортогональном предыдущим главным компонентам. Матрица весовых коэффициентов Апри этом составлена из собственных векторов ковариационной (корреляционнойR) матрицы. Следовательно,

, (11.7)

где – диагональная матрицaс элементами, равными собственным значениям корреляционной матрицы. Умножая (11.7) насправа и учитывая ортогональностьA, а значит, получаем:.

Обозначим через матрицу порядка, элементы которой равняются квадратному корню из соответствующих элементов матрицы Λ. Перейдем отAк. Выражение дляRпримет вид:

. (11.8)

Сравнивая (11.6) и (11.8), получаем, что в качестве оценки матрицы Вможно взять матрицу.

Таким образом, матрица факторных нагрузок получается из матрицы, составленной из собственных векторов корреляционной матрицы исходных признаков, с последующим умножением элементов собственного вектора, отвечающего i-му собственному значениюна.

Матрицы BиQ имеют разный порядок:уВиуQ, поэтому правильнее говорить, что оценкой будут первыеmстолбцов матрицыQ.

Посчитав матрицу Wравной нулю, мы для оценки матрицыBвоспользовались моделью главных компонент. Строго говоря, под методом главных факторов понимают способ расчета, принятый в методе главных компонент, но примененный к матрице(оценка общностей рассматривается ниже).

0ценка числа общих факторов.

…….

Метод максимального правдоподобия. В этом методе по выборочной корреляционной матрицеисходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матрицВиWдля генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица

(11.9)

имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии.

Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:

. (11.10)

Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения BиW.

В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для mобщих факторов. Для проверки гипотезы о существованииmобщих факторов можно воспользоваться критерием

cстепенями свободы.

В этой формуле – определитель матрицы корреляций, воспроизведенных с помощьюmобщих факторов. Если вычисленное значение критерия превышает табличное значениепри выбранном уровне значимости, то необходимо выделить факторов больше, чемm, по крайней мере ,m+1.

7. Совместность оценок дробного факторного эксперимента.

Дробный факторный эксперимент (ДФЭ) Из-за показательного роста числа экспериментов с увеличением размерности пространстваПФП оказываются практически неприемлемыми при больших. Однако из матрицы ПФПможет быть отобрана некоторая часть, называемаядробным факторнымпланом(ДФП), которая сохраняет свойство ортогональности. Правило построения ДФП состоит в следующем. Задается порядок дробности. Извходных переменных отбираютn-p переменных (их называют основными), и для них строят полный факторный план. Этот план затем дополняютстолбцами, соответствующими оставшимся переменным. Для определения способа образования этих столбцов вводится понятиегенератора(генерирующего соотношения) плана. Генератор представляет собой произведение граничных значений () основных переменных, определяющее граничные значения элементов каждого из дополнительныхстолбцов матрицы плана. Так, для построения линейной модели от трех переменныхможно воспользоваться ДФП типас генератором:

Чем выше размерность пространства , тем большее число генераторов плана можно предложить. Целесообразно выбирать такие из них, которые соответствуют незначимым взаимодействиям. Действительно, в состав базисных функций входят и левая и правая части генератора и, поскольку от эксперимента к эксперименту они меняются одинаковым образом, различить эффекты, соответствующие частям генератора, не представляется возможным. Так, если в качестве генератора выбрано соотношение, то получить раздельные оценки дляинельзя. Соответствующий ДФП позволяет оценить лишь суммарное воздействие линейного фактораи тройного взаимодействия. Подобные оценки называютсмешанными. Однако, если взаимодействие незначимо, т.е. , тобудет практически несмешанной оценкой. Для определения порядка смешивания вводят понятие контраста плана. Контраст – это генерирующее соотношение, задающее элементы столбца свободного члена матрицы . (Со свободным членом уравнения регрессии связывается фиктивная переменная, тождественно равная единице.) Контраст получают из генерирующего соотношения умножением на переменную, стоящую слева от знака равенства. Для ДФП с генераторомконтраст есть, так как. Чтобы определить, с какими переменными или взаимодействиями смешана оценка некоторой данной переменной, необходимо умножить обе части контраста на эту переменную. При этом получают порядок смешивания оценок коэффициентов при использовании данного плана.

Пусть, к примеру, исследуется объект из трех переменных полная модель которого есть

(В выражении (6.3) и далее случайное возмущение опускается.) В ходе исследования было решено ограничиться линейным (по переменным) описанием

, (6.4)

что дало основание воспользоваться ДФЭ с генераторомс определяющим контрастом. Порядок смешивания для переменныхследующий:,,. (6.5)

С учетом (6.5) сгруппируем подобные члены в модели (6.3): . (6.6)

Сравнивая (6.6) и (6.4) , видим, что при оценивании линейной модели (6.4) получаются не чистые оценки свободного члена и линейных эффектов а оценки комбинаций, включающих двойные и тройные (для свободного члена) эффекты: .

Таким образом, платой за сокращение числа экспериментов стала совместность оценок. Если же поставить дополнительно четыре эксперимента с генератором , то получим оценки

.

Восемь оценок дают возможность получить раздельные оценки эффектов. Так, есть оценка , а – оценка и так далее. Это и понятно, поскольку две серии экспериментов с генераторами идают вкупе полный факторный эксперимент, который обеспечивает раздельное оценивание коэффициентов.

В отсутствии априорной информации о значимости взаимодействий предпочтение отдается генераторам, отвечающим взаимодействиям высокого порядка, поскольку коэффициенты регрессии при них по абсолютной величине, как правило, меньше.

К достоинствам факторных планов следует отнести их хорошие точностные свойства. Легко доказать, что они являются D-, G-, A- оптимальными. К примеру, у ПФП , используемого для оценки коэффициентов модели вида , матрица плана X и матрица значений базисных функций F имеют вид:

, .

Отсюда , а. Левая часть выражения (6.2)примет вид , поскольку. Максимумэтой формы достигается в вершинах квадрата: ,и равняется четырем. Число оцениваемых коэффициентов (k+1) также четыре. Следовательно, условие (6.2) выполняется.

8. D-оптимальные планы на отрезке.

9. Связь D- и G-Оптимального планирования.

Критерий D-оптимальности КритерийD-оптимальности требует такого расположения точек в области планирования, при котором определитель матрицыимеет минимальную величину. Иными словами, планD-оптимален, если.

Известно, что объем эллипсоида рассеяния пропорционален корню из величины определителя ковариационной матрицы, т.е.. С учетом (3.8)V.

Чем меньше величина определителя, тем меньше, как правило, разброс оценок коэффициентов относительно их математических ожиданий. Исключением является случай, когда эллипсоид рассеяния имеет сильно вытянутую форму.

Критерий G-оптимальностиПланG-оптимален, если он обеспечивает наименьшую величину максимальной дисперсии оценки зависимой переменной:.

На практике желательно использовать планы, удовлетворяющие одновременно нескольким критериям. В общем случае такого сочетания свойств не наблюдается. В теории планирования эксперимента доказано, что непрерывный D-оптимальный план является такжеG-оптимальным. УсловиеD-оптимальности дискретного планаимеет следующий вид:. (6.2)

Если для дискретного D-оптимального плана имеет место, то этот план является такжеA-оптимальным. ПостроениеD-оптимальных планов является сложной вычислительной задачей. Аналитический путь здесь оказывается возможным в некоторых простейших случаях (полиномиальная модель от одной переменной, квадратичная регрессия отпеременных для стандартной области (гиперкуб)). В общем случае для построенияD-оптимальных планов используются численные методы, связанные с минимизацией определителя матрицыСлибо максимизацией определителя информационной матрицыF’F, что несомненно проще в вычислительном отношении.

10. Экспериментальные методы одномерного поиска.

Рассматривается функция одной переменной y=f(x). Предпола-гается, что функция имеет только один экстремум (унимодальна); интервал поиска ограничен: ; значения выходной переменной неслучайны. Поиск осуществляется последовательно путем сравнения значений целевой функции в двух точках, выбираемых определенным образом. ЭффективностьE поиска характеризуется степенью локализации области экстремума после N экспериментов и выражается отношением длины начального интервала к остаточному , внутри которого находится экстремум целевой функции:.

Далее для определенности будем полагать, что ищется максимум функции.

Эквидистантные планы Начальный отрезок делится на (N-1) равных частей, опыты проводятся при значениях:

. Поиск прекращается как только .

В зависимости от вида функции поиск прекращается при различных i, так что средняя эффективность составит E=(N–1)/2.

Метод деления отрезка пополам (метод последовательной дихотомии)

Эксперименты ставят парами в точках, отстоящих по обе стороны от середины отрезка. Координаты первой пары:

где  – малая величина.

Если , то максимальное значение надо ожидать на отрезке; прина отрезке. Этот новый отрезок объявляется исходным, и далее процесс повторяется. Мера эффективности равна.

Заметим, что при наличии случайного компонента значение  не должно быть малым, что иллюстрируется рис.3.

x

Рис. 3. Метод деления отрезка пополам

Если в точке х¹ случайная компонента окажется отрицательной, а в точке х² положительной, и значительной по величине в обеих точках, результаты сравнения значений отклика в этих точках направят поиск в противоположную сторону, Вот почему применение метода деления отрезка пополам в этих условиях становится проблематичным.

Поиск с использованием чисел Фибоначчи Числа Фибоначчи задаются по следующим правилам:

,

На первом шаге ставятся два эксперимента в точках x¹=a+(b-a)q и x²=b-(b-a)q при q=F_N-2/F_N , (6.10)

где N выбирается заранее.

При максимальное значение следует искать на отрезке, при– на отрезке. На последующих шагах ставят по одному эксперименту, меняяq по закону , гдеj – номер шага (j=2,3,…).

Легко показать, опираясь на определение чисел Фибоначчи, что одна из координат, подсчитанная по формулам, аналогичным (6.10), будет совпадать с одной из предыдущих точек. Далее происходит сравнение значений функций в этих двух точках и процесс повторяется. Мера эффективности метода составляет .

Так, при N=10 =144, а значит с помощью 11 экспериментов можно локализовать экстремум в области, не превышающей 1% размера начальной области поиска. Этот метод существенно эффективнее предыдущего. К его недостатку можно отнести необходимость заранее задавать число экспериментов.

Метод золотого сечения Этот метод базируется на методе Фибоначчи и не требует предварительного задания числа экспериментов. В методе золотого сечения вместо величины на каждом шаге используется ее предельное значение при: .

Мера эффективности метода .

11. Многомерные методы экспериментальной оптимизации.

Для поиска экстремума функции многих переменных применяется ряд методов, среди которых отметим:

метод покоординатной оптимизации; метод Бокса − Уилсона; последовательный симплексный метод.

Метод покоординатной оптимизации Метод покоординатной оптимизации, называемый также методом Гаусса–Зейделя, сводит многомерную оптимизацию к последовательному применению одномерной к сечениям функции. Для этого фиксируют значения всех переменных, кроме одной, к которой применяется один из методов одномерной оптимизации. Затем начинают поиск по второй переменной, фиксируя первую на значении, обеспечившем экстремум, и т. д. После того как список переменных исчерпался, возвращаются к первой переменной, и так до тех пор, пока значение отклика возрастает (убывает). Метод отличается простотой, однако для функций овражистого типа, для которых линии равного уровня сильно вытянуты в направлении, не параллельном осям координат, поиск может продолжаться довольно долго. Метод Бокса−Уилсона На основе малой серии опытов строится линейное описание поверхности отклика в окрестности начальной точки. В центре этой локальной области определяется значение градиента, после чего начинаются опыты в направлении градиента. Бокс и Уилсон предложили использовать дробные факторные планы для поиска линейной модели. Метод состоит из последовательности циклов, каждый из которых содержит два шага.

1. Построение линейной модели в окрестности некоторой начальной точки с использованием подходящего факторного плана. Окрестность начальной точки, определяемая интервалами варьирования переменных, должна быть не слишком малой, чтобы можно было выявить линейные эффекты на фоне случайных возмущений, и не настолько большой, чтобы обеспечить адекватность линейного приближения. Соотношение между интервалами варьированияпо отдельным переменным должно быть таким, чтобы величины коэффициентов регрессии в случае их значимости имели бы одинаковый порядок. В случае адекватности линейной модели коэффициенты регрессии совпадают с компонентами градиента, т.е. , где i, j,…,k – направляющие векторы осей координат. Обычно переходят к нормированному градиенту делением его компонент на норму либо просто на. Компоненты нормированного градиента обозначим.

2. Пошаговое увеличение величины целевой функции (движение в направлении градиента). Координаты точки наблюдения на -м шаге при движении в направлении градиента определяются по формуле:, где≥1 – параметр, позволяющий управлять величиной шага, а следовательно, скоростью движения. Чем ближе исследователь подходит к стационарной области, тем меньше . Движение в направлении градиента продолжается до тех пор, пока возрастают значения выходной переменной. В противном случае вновь реализуют факторный план, находят новое линейное приближение и цикл повторяется снова. Если же модель оказывается неадекватной, то это означает, что исследователь либо достиг стационарной области, либо необходимо линейную модель дополнить взаимодействиями. В стационарной области метод Бокса−Уилсона неработоспособен, здесь необходимо переходить к квадратичным моделям.

Геометрическая интерпретация метода приведена на рис.4. Здесь поверхность отклика задается линиями уровня.

x₂

x₁

Рис. 4. Схема метода Бокса–Уилсона

Рассмотрим в качестве примера использование метода Бокса−Уилсона для поиска максимума функции

. (6.11)

Допустимая область изменения переменных: 0х₁20, 0х210, 1х₃15. Начальная точка поисках⁰==(3,2,4). Линейное приближение будем строить в окрестности начальной точки, задаваемой условиями:,i=1,2,3. Значения_i желательно подбирать такими, чтобы приращения функции по каждому из аргументов были сопоставимы, то есть

. Примем ₁=1,₂=2,₃=3. В соответствии с (6.1) стандартизованная переменная, если, ипри.

Линейная модель требует для своей оценки не менее четырех экспериментов. Воспользуемся ДФЭ 2^3-1с ГС:(табл. 16).

Таблица 16

i	х1ст	х1	х2ст	х2	х3ст	х3	y
1	1	4	1	4	1	7	40,8
2	-1	2	1	4	-1	1	26,2
3	1	4	-1	0	-1	1	24,4
4	-1	2	-1	0	1	7	25,4

В последнем столбце табл.16 содержатся значения функции (6.11) для исходных переменных, то есть 40,8=у(4,4,7)и так далее.

МНК-оценки коэффициентов линейной модели составят:

;;.

Отнормируем полученные компоненты градиента, поделив их на максимальное значение :b₁=3,4/4,3=0,79,b₂=1,b₃=0,91. Движение в направлении градиента представлено в табл.17.

Таблица 17

Формулы для вычисления компонент вектора	Номера компонент вектора			у
	1-я	2-я	3-я
х0	3	2	4	31,3
i	1	2	3
bi	0,79	1	0,91
bii	0,79	2	2,73
x0+1bii	3,79	4	6,73	39,9
x0+2bii	4,58	6	9,46	46,4
x0+3bii	5,37	8	12,19	50,6
x0+4bii	6,16	10	14,91	52,6

Движение в направлении градиента после четвертого шага невозможно из-за ограничения на х₃. Теперь следует определить градиент в точкеx⁰+3b_i_i. Поскольку темп роста функции замедлился на последних шагах, область линейного описания следует сузить, уменьшив значения_i.