1185

ным средним разбросом в точках (с различной дисперсией вос­ производимости). Разброс в точках показан, как это иногда делается, отрезками прямых, составляющих доверительный интер­ вал, равный +2s{y}. Модель можно считать адекватной только

впервом случае.

Вданном случае разброс в точках такого же порядка, что и разброс относительно линии. Поэтому можно предполагать, что построенная модель пригодна. (Дальше мы выясним, как прове­ рить это количественно.) Во втором случае опыты «слишком» точны. Требуется более сложная модель, чтобы точность ее пред­

сказания была сравнима с точностью эксперимента.

X,

Рис. 27. Проверка адекватности

Это качественные соображения, а нам нужна количественная мера.

Для характеристики среднего разброса относительно линии регрессии вполне подходит остаточная сумма квадратов. Не­ удобство состоит в том, что она зависит от числа коэффициентов в уравнении: введите столько коэффициентов, сколько вы провели независимых опытов, и получите остаточную сумму, равную нулю. Поэтому предпочитают относить ее на один «свободный» опыт. Число таких опытов называется числом степеней свободы (/).

Числом степеней свободы в статистике называется разность между числом опытов и числом коэффициентов (констант), кото­ рые уже вычислены по результатам этих опытов независимо друг от друга.

Если, например, вы провели полный факторный эксперимент 23 и нашли линейное уравнение регрессии, то число степеней свободы

/ = /V — (Л +1) = 8 — (3 + 1) = 4.

Остаточная сумма квадратов, деленная на число степеней сво­ боды, называется остаточной дисперсией, или дисперсией адек­ ватности (s^A)

N

150

Рассмотрим пример. Требуется найти число степеней сво­ боды для .<^д в следующем случае: план 24-1 и четыре параллель­ ных опыта в нулевой точке для вычисления ошибки опыта; модель линейная.

Один из возможных ответов — семь степеней свободы — ос­ нован на следующих предположениях. Вероятно, вы рассуждали так. Проделано 12 опытов: 24_1= 8 плюс 4 нулевых. В уравнение входит 5 коэффициентов. Следовательно, /= 1 2 —5= 7 . Здесь не учтено, что параллельные опыты нельзя считать самостоятель­ ными, так как они дублируют друг друга. Поэтому они все дают одну степень свободы. Другой неправильный ответ — 4 степени свободы. Этот неправильный ответ получился, вероятно, из сле­ дующего рассуждения. Проделано 12 опытов: восемь по матрице планирования и четыре нулевых. Так как все нулевые опыты тожжественны, то они дают одну степень свободы. Число коэффи­ циентов в модели равно пяти. Следовательно, / = 9 —5=4. Вы не обратили внимание на то, что опыты в нулевой точке не исполь­ зуются при вычислении коэффициентов и не могут поэтому вхо­ дить в число степеней свободы.

Правильный ответ — три степени свободы. Действительно, мы провели 12 опытов, но четыре опыта в нулевой точке были проведены для других целей и в вычислении коэффициентов не участвовали, поэтому они не входят в число степеней свободы. (А если бы входили — такие случаи возможны, то давали бы не четыре, а только одну степень свободы.) Число коэффициентов модели — пять. Следовательно,

/ = 8 — 5 = 3.

Запомните правило: в планировании эксперимента число сте­ пеней свободы для дисперсии адекватности равно числу различ­ ных опытов, результаты которых используются при подсчете коэффициентов регрессии, минус число определяемых коэффи­ циентов. Вам еще представится случай поупражняться в опре­ делении числа степеней свободы для дисперсии адекватности.

Для проверки гипотезы об адекватности можно использовать /'’-критерий (этот критерий уже использовался для сравнения двух дисперсий)

Величину, стоящую в числителе этой формулы, мы только что на­ учились считать, а знаменатель — старый знакомый (см. гл. 8) — это дисперсия воспроизводимости со своим числом степеней свободы.

Удобство использования критерия Фишера состоит в том, что проверку гипотезы можно свести к сравнению с табличным зна­ чением. Фрагмент соответствующей таблицы, который может удо­ влетворить ваши нужды не только в упражнениях этой книги, но и в большинстве случаев практики, приведен ниже (табл. 9.4).

151

Таблица 9.4

Значения jF-критерия Фишера при 5%-ном уровне значимости [2]

Таблица построена следующим образом. Столбцы связаны с оп­ ределенным числом степеней свободы для числителя / 1( строки — для знаменателя / 2. На пересечении соответствующих строки и столбца стоят критические значения /'’-критерия. Как правило,

втехнических задачах используется уровень значимости 0,05. Если рассчитанное значение /^-критерия не превышает таблич­

ного, то с соответствующей доверительной вероятностью модель можно считать адекватной. При превышении табличного значения эту приятную гипотезу приходится отвергать.

Если модель адекватна, то мы можем перейти к крутому вос­ хождению. Если нет — приходится преодолевать дополнитель­ ные трудности. Это мы обсудим ниже. Но во всех случаях инте­ ресно проверять еще значимость отдельных коэффициентов ре­ грессии.

152

9.4. Проверка значимости коэффициентов

Проверка значимости каждого коэффициента проводится не­ зависимо.

Ее можно осуществлять двумя равноценными способами: про­ веркой по 2-критерию Стьюдента или построением доверительного интервала. При использовании полного факторного эксперимента или регулярных дробных реплик доверительные интервалы для всех коэффициентов (в том числе и эффектов взаимодействия) равны друг другу.

Прежде всего надо, конечно, найти дисперсию коэффициента регрессии s\bj). Она определяется в нашем случае по формуле

..2

„2 _ ’{У} 5{Ь/} — —дГ ’ если параллельные опыты отсутствуют.

Из формулы видно, что дисперсии всех коэффициентов равны друг другу, так как они зависят только от ошибки опыта и числа опытов.

Теперь легко построить доверительный интервал (АЪ})

дb j ~ ± ts {by>.

Здесь 2 — табличное значение критерия Стьюдента при числе сте­ пеней свободы, с которыми определялась s2{yy, и выбранном уровне значимости (обычно 0,05); ${Ьу> — квадратичная ошибка коэф­ фициента регрессии

Коэффициент значим, если его абсолютная величина больше до­ верительного интервала. Доверительный интервал задается верх­ ней и нижней границами bj-\-kbj и bj—Abj.

Для отыскания значений 2-критерия можно воспользоваться таблицей, фрагмент из которой приведен в табл. 9.5.

Таблица построена следующим образом. Столбцы соответст­ вуют различным степеням свободы и значениям критерия.

Пусть в двух разных задачах случайно оказались два численно равных коэффициента регрессии. Доверительные интервалы для них оказались различными. Из них значим только второй

153

В действительности чем уже доверительный интервал (при за­ данном а), тем с большей уверенностью можно говорить о значи­ мости коэффициента.

Помните рабочее правило: если абсолютная величина коэф­ фициента больше, чем доверительный интервал, то коэффициент значим.

Если вам больше нравится проверять значимость коэффи­ циентов по t-критерию, то воспользуйтесь формулой

, = J h L

S{b j}

Вычисленное значение t-критерия сравнивается с табличным при заданном а и соответствующем числе степеней свободы. По­ лученные выводы о значимости коэффициентов, конечно, должны совпадать с предыдущими.

Так производится проверка значимости коэффициентов.

9.5. Резюме

Итак, в этой главе вы освоили основные методы обработки экспериментальных данных, полученных при планировании экс­ перимента. Вы научились не только вычислять коэффициенты ре­ грессии, но и проводить статистические оценки адекватности и значимости.

Мы подробно рассмотрели метод наименьших квадратов —эф­ фективный и простой способ получения оценок коэффициентов регрессии. Эти оценки приводят к минимально возможной оста­ точной сумме квадратов и в этом смысле являются оптималь­ ными.

154

Глава десятая

м а т р и ч н ы й подход

К РЕГРЕССИОННОМУ АНАЛИЗУ

Что, в сущности, буква и цифра? Не глаза ли два, Которым открыта вся суть естества?

Ваииаовар. Т и р у к у р а л

При изложении предыдущего материала мы не использовали матричную алгебру. Однако существует множество причин, по ко­ торым целесообразно ввести этот язык. Вот некоторые из них: многие сложные случаи, возникающие в планировании экспери­ мента, такие как планы с неравномерным дублированием опытов, планы с разным числом уровней и т. п ., требуют матричной формы описания; рассмотрение некоторых критериев оптимальности пла­ нов естественно вести на матричном языке; многие работы, к ко­ торым вы захотите обратиться, прочтя эту книгу, используют матричные обозначения. Да и вообще алгебра матриц становится все более универсальным языком современной науки и техники. Данная глава не претендует на полное изложение матричного аппарата. Мы будем использовать только те определения и опе­ рации, которые необходимы для рассмотрения регрессионного анализа. Более полное изложение матричной алгебры можно найти в [1—4].

10.1. Метод наименьших квадратов для одного фактора

Будем действовать в такой последовательности. Сначала рассмотрим численный пример линейного уравнения для одного фактора, который в общем виде рассмотрен в предыдущей главе. Затем опишем его на матричном языке. Это позволит нам в даль­ нейшем сделать некоторые обобщения.

Таблица 10.1 Условия и результаты опытов

156

Пусть известно, что у связан с хг линейным уравнением у =

=b0+ b 1x1.

Врезультате проведенного эксперимента была получена сле­ дующая таблица, аналогичная табл. 9.1, в которой хх прини­ мает пять кодированных значений (табл. 10.1). Давайте про­ изведем вычисления в соответствии с предписанием табл. 9.2 (табл. 10.2).

Таблица 10.2 Расчетная таблица вычисления коэффициентов регрессии

Воспользовавшись полученными ранее формулами, вычислим коэффициенты:

5 5 5 5

Теперь можно написать уравнение у = 2 + 1 -a^. С помощью этого примера мы воспроизвели процедуру МНК, изложенную в предыдущей главе. Давайте воспользуемся теперь другим языком.

В нашем примере участвуют три множества элементов: элементы, задающие условия проведения опытов, элементы, характеризую­ щие их результаты, и неизвестные коэффициенты, которые нужно определить.

157

Так, элементы, характеризующие результаты опытов, можно представить в виде столбца

0

1

Y = 2 3 4

неизвестным коэффициентам соответствует столбец

а элементы, задающие условия опытов, удобно представить в виде таблицы

*0 *1

+1 —2

+1 — 1

В этой таблице появился столбец я0, состоящий из + 1 . Он введен для удобства вычислений всех коэффициентов, включая свободный член Ъ0. Фактически это значит, что мы переписали исходное уравнение так: у= Ъ0х0-\-Ъ{х1. Обэтом уже говорилось в шестой главе.

Таблицы, в которых собраны упорядоченные некоторым обра­ зом элементы, называются матрицами. Следовательно, в нашем случае Y, В и X являются матрицами. Элементы Y упорядочены по номерам опытов, элементы X, кроме того, — по номерам пе­ ременных (х0, хг), а элементы В — по номерам коэффициентов, которые соответствуют номерам переменных.

Для того чтобы воспользоваться матрицами при описании регрессионного анализа, необходимо ввести некоторые операции над ними, что мы и сделаем в следующем параграфе.

10.2. Некоторые операции над матрицами

Матрицы, описанные в предыдущем параграфе, различаются погчислу элементов, числу строк и числу столбцов. Так, в матрице

158

прямоугольные. Если матрица имеет всего один столбец, то ее называют матрицей-столбцом или вектор-столбцом. Примерами служат матрицы Y и В. Аналогично можно определить и матрицыстроки (векторы-строки).

Вернемся к нашему примеру. На основании исходных данных можно записать систему из пяти уравнений по одному уравне­ нию для каждого опыта: yi — b0x0-\-b1xli ( i = l , 2 , . .,5) или в раз­ вернутой форме:

0 = 60 . i + V ( - 2);

1 = V i + V ( - i ) ; 2 = & o . i + V ( 0); з = ь 0 . i + ь, • ( + !) ;

4 = 60. l + 6 1 .(+ 2 ).

На матричном языке эта система уравнений выглядит следую­ щим^ образом:

Чтобы эти две записи стали эквивалентными, необходимо ввести определенные правила перемножения матриц. Будем в произведении различать матрицу, стоящую слева, и матрицу, стоящую справа. Перемножить две матрицы это значит получить матрицу произведений, элементы которой находятся по следую­ щим правилам.

Элементы первой строки матрицы, стоящей слева, умножаются на соответствующие элементы матрицы, стоящей справа, и полу­ ченные произведения складываются. В нашем случае имеем: (+1) Ь0+ ( —2) Ъх. Для получения элемента, стоящего на пересе­ чении первого столбца и второй строки, аналогичная операция проделывается со второй строкой матрицы, стоящей слева, и тем же самым первым столбцом матрицы, стоящей справа, т. е. (+1) Ь0+ ( —1) б,. Продолжая таким образом до последней строки матрицы, стоящей слева, получаем все элементы первого столбца матрицы произведений. Эта процедура повторяется столько раз, сколько вектор-столбцов содержит матрица, стоящая справа. В нашем случае эта матрица имеет только один столбец. Из опре­ деления видно, что матрица произведений имеет столько столб­ цов, сколько матрица, стоящая справа, и столько строк, сколько матрица, стоящая слева. В рассматриваемом примере матрица-

159