Нов.ПМС-2

Объединяя внутренние суммы квадратов для всех серий повторных опытов, мы получим общую сумму квадратов «чистых» ошибок в виде

m n

(Yju Yj )2 j 1 u 1

со степенями свободы

Отсюда средний квадрат «чистых» ошибок равен

j1

ион служит оценкой 2 независимо от того, корректна ли подобранная модель. Словом, эта величина – полная SS между повторениями, деленная на общее число степеней свободы.

Замечание.

Если имеются два наблюдения Y j1 и Y j 2 в точке X j , то

Это удобная форма для вычислений. Такая SS имеет только одну степень свободы.

Таким образом, сумма квадратов «чистых» ошибок фактически оказывается частью остаточной суммы квадратов, что мы и покажем.

Остаток для u -го наблюдения при X j можно записать

Здесь мы пользуемся тем обстоятельством, что все повторные точки при любом X j имеют одно и то же предсказанное

121

2) не значимым, то это показывает, что, по-видимому, оснований сомневаться в адекватности модели нет, и что как средний квадрат, связанный с «чистой» ошибкой, так и средний квадрат, обусловленный неадекватностью, могут

использоваться как оценки 2 .

Объединенная оценка 2 может быть получена из суммы квадратов, связанной с «чистой» ошибкой, и суммы квадратов, связанной с неадекватностью, путем объединения их в остаточную сумму квадратов и деления ее на остаточное

число степеней свободы nr , что дает s2 SSnr .

Если используются не повторные опыты в качестве повторных, то s 2 будет проявлять склонность к переоценке

2 , а F -критерий для проверки неадекватности будет иметь тенденцию к ошибочному определению ее отсутствия

Пример на иллюстрацию неадекватности и «чистой» ошибки

В табл. 9.3 представлены результаты 24 наблюдений. Таблица 9.3

По этим данным была оценена линия регрессии

123

Yi 1,436 0,338X i .

Рассчитаем данные для таблицы дисперсионного анализа. Сумма квадратов, обусловленная регрессией,

(число степеней свободы 1).

Общая (полная) скорректированная сумма квадратов есть sYY Yi 2 ( Yi )2 n =27,518,

(число степеней свободы n 1=23);

sYY (Yi Y )2 =27,518; sYY Yi 2 nY 2 .

s2 SS(n 2) =0,963.

Таблица 9.4 является таблицей дисперсионного анализа. Сумма квадратов:

1) связанная с ―чистой‖ ошибкой, из повторений при X 1,3

есть 12 (2,3 1,8)2 =0,125 с 1 степенью свободы (использована

формула (9.28);

2) связанная с ―чистой‖ ошибкой, из повторений при X 4,7 (считается по формуле (9.27)

(5,4)2 (3,2)2 (1,9)2 (5,4 3,2 1,9)2 3 = 43,01 36,75 =6,26с

2 степенями свободы.

124

Таблица 9.4

Аналогичные вычисления дают следующие величины.

125

Таблица 9.5

Теперь полученные данные можно переписать в таблицу 9.6 дисперсионного анализа.

Таблица .9.6 Дисперсионный анализ (демонстрация неадекватности)

126

Неадекватность находится как разность

SSОСТАТОК – SSЧИТСАЯ ОШИБКА.

Отношение

F MSL se2 =0,699

не значимо, так как оно меньше 1. Поэтому на основе такого критерия нет оснований сомневаться в адекватности нашей

модели и можно использовать s 2 =0,963 как оценку для 2 , чтобы иметь возможность воспользоваться F - критерием для проверки значимости всей регрессии. F - критерий состоятелен, только если нет неадекватности представления результатов нашей моделью

Итак, в итоге рассмотрим все необходимые действия, когда наши данные содержат повторные наблюдения.

1)Подобрать модель, составить простую таблицу дисперсионного анализа с двумя входами: регрессией и остатком. Но для общей регрессии пока не использовать F - критерий.

2)Вычислить сумму квадратов, связанную с ―чистой‖ ошибкой, и разложить остаточную сумму квадратов как на рис. 9.5.

127

3) Применить F - критерий для неадекватности. Если критерий неадекватности не значим, т.е. нет смысла сомневаться в адекватности модели, то перейти к пункту 4.б.

4.а) Значимая неадекватность. Прекратить анализ подобранной модели и искать пути ее улучшения методами анализа остатков. Не применять F - критерий для общей регрессии и не пытаться строить доверительные интервалы. Если нет адекватности подобранной модели, то не верны предпосылки, которые лежат в основе этих операций.

4.б) Неадекватность не значима. Снова объединить суммы квадратов для ‖чистых‖ ошибок и неадекватности в остаточную сумму квадратов. Использовать остаточный

доверительные пределы для истинного среднего значения Y , вычислить R 2 и т.д.

Заметим, что если модель проходит все барьеры, это еще не означает, что она правильна, просто нет оснований считать ее неадекватной имеющимся данным. Если неадекватность обнаружена, то может понадобиться другая модель, возможно, квадратичная, вида

Y X X 2 .

На рис. 9.4 показаны некоторые ситуации, которые могут возникнуть, когда прямая строится по данным шаг за шагом.

Влияние повторных опытов на R2

Мы уже отмечали, что величина R 2 не может достичь 1, если есть повторные опыты. Никакая модель не может изменить вариацию, обусловленную ―чистой‖ ошибкой. В нашем последнем примере: сумма квадратов, обусловленная ―чистой‖ ошибкой, равна 12,470 при 11 степенях свободы. То, что модель подогнана к этим данным, не имеет значения, все равно величина 12,470 остается неизменяемой и

128

необъясняемой. Следовательно, максимум R 2 , достижимый при этих данных, есть

R2 = SS РЕГР. / общаяSS скор = 6,326/27,518=0,2299, или 22,99 %,

Иными словами, мы можем объяснить 0,2299/0,5468=0,4202, или 42,02 % того, что возможно объяснить.

«Чистая» ошибка в многофакторном случае Полученные формулы для одной переменной применимы

в общем случае для n предикторов X1 , X 2 ,... . Но у повторных

опытов должны совпадать все координаты, т.е., например, следующие четыре отклика для четырех точек

( X1 , X 2 , X 3 , X 4 ) = (4,2,17,1), (4,2,17,1), (4,2,17,1), (4,2,17,1)

дают повторные опыты. Однако четыре точки

( X1 , X 2 , X 3 , X 4 ) = (4,2,16,1), (4,2,17,1), (4,2,18,1), (4,2,19,1)

уже не дают повторных опытов, поскольку координаты X 3 во всех этих случаях различны.

Корреляция между переменными X и Y и регрессия

Когда мы выдвигали постулат о линейности модели

Y 0 1 X ,

то мы предварительно полагали, что Y можно выразить как функцию 1-го порядка от X без учета ошибок.

В такой зависимости X обычно предполагается фиксированным (неслучайным), т.е. не имеющим вероятностного распределения, Y предполагается случайной величиной, имеющей распределение вероятностей со средним0 1 X и дисперсией D( ) .

129

распределением вероятностей f (U ,W ) . Тогда мы определяем

(U1 ,W1 ),...(U n ,Wn ) с совместным распределением, то величина

называется выборочным коэффициентом корреляции между U и W , оценивает UW и представляет собой эмпирическую

меру линейной зависимости между U и W . rUW лежит между -

1 и +1.

Для нашей регрессионной задачи будем рассматривать rXY . Если корреляция rXY не равна нулю, это значит, что в нашем множестве данных существует некоторая линейная