45. Проверка адекватности модели регрессии. Метод остатков

Под адекватностью построенной регрессионной модели понимается то, что никакая другая модель не дает значимого улучшения в предсказании отклика.

Если все значения откликов получены при разных значениях x, т. е. нет нескольких значений отклика, полученных при одинаковых x_i, то можно провести лишь ограниченную проверку адекватности линейной модели. Основой для такой проверки являются остатки:

- отклонения от установленной закономерности:

Поскольку X – одномерная переменная, точки (x_i, d_i) можно изобразить на плоскости в виде так называемого графика остатков. Такое представление позволяет иногда обнаружить в поведении остатков какую-то закономерность. Кроме того, анализ остатков позволяет проанализировать предположение относительно закона распределения ошибок.

В случае когда ошибки распределены по нормальному закону и имеется априорная оценка их дисперсии σ² (оценка, полученная на основе ранее выполненных измерений), то возможна более точная оценка адекватности модели.

С помощью F-критерия Фишера можно проверить, значимо ли остаточная дисперсия s₀² отличается от априорной оценки. Если она значимо больше, то имеет место неадекватность и следует пересмотреть модель.

Если априорной оценки σ² нет, но измерения отклика Y повторялись два или более раз при одинаковых значениях X, то эти повторные наблюдения можно использовать для получения еще одной оценки σ² (первой является остаточная дисперсия). Про такую оценку говорят, что она представляет “чистую” ошибку, поскольку, если сделать x одинаковыми для двух и более наблюдений, то только случайные изменения могут повлиять на результаты и создавать разброс между ними.

Получаемая оценка оказывается более надежной оценкой дисперсии, чем оценка, получаемая другими способами. По этой причине при планировании экспериментов имеет смысл ставить опыты с повторениями.

П редположим, что имеется m различных значений X : x₁, x₂, ..., x_m. Пусть для каждого из этих значений x_i имеется n_i наблюдений отклика Y. Всего наблюдений получается:

Тогда модель простой линейной регрессии может быть записана в виде:

Н айдем дисперсию “чистых” ошибок. Эта дисперсия представляет собой объединенную оценку дисперсии σ², если представить значения откликов y_ij при x = x_i как выборки объема n_i. В результате дисперсия “чистых” ошибок равна:

Эта дисперсия служит оценкой σ² безотносительно к тому, корректна ли подобранная модель.

П окажем, что сумма квадратов “чистых ошибок” является частью остаточной суммы квадратов (суммы квадратов, входящей в выражение для остаточной дисперсии). Остаток для j-ого наблюдения при x_i можно записать в виде:

Если возвести обе части этого равенства в квадрат, а затем просуммировать их по j и по i, то получим:

Слева в этом равенстве стоит остаточная сумма квадратов. Первый член в правой части – это сумма квадратов “чистых” ошибок, второй член можно назвать суммой квадратов неадекватности. Последняя сумма имеет m−2 степеней свободы, следовательно, дисперсия неадекватности

С татистикой критерия для проверки гипотезы H₀: простая линейная модель адекватна, против гипотезы H₁: простая линейная модель неадекватна, является случайная величина

При справедливости нулевой гипотезы величина F имеет распределение Фишера со степенями свободы m−2 и n−m. Гипотеза линейности линии регрессии должна быть отвергнута с уровнем значимости α, если полученное значение статистики больше α-процентной точки распределения Фишера с числом степеней свободы m−2 и n−m.

46. Проверка адекватности модели регрессии(см 45). Дисперсионный анализ

47. Проверка адекватности модели регрессии (см 45). Коэффициент детерминации

И ногда для характеристики качества линии регрессии используют выборочный коэффициент детерминации R², показывающий, какую часть (долю) сумма квадратов, обусловленная регрессией, СК_р составляет в полной сумме квадратов СК_п:

Чем ближе R² к единице, тем лучше регрессия аппроксимирует экспериментальные данные, тем теснее наблюдения примыкают к линии регрессии. Если R² = 0, то изменения отклика полностью обусловлены воздействием неучтенных факторов, и линия регрессии параллельна оси x-ов. В случае простой линейной регрессии коэффициент детерминации R² равен квадрату коэффициента корреляции r² .

Максимальное значение R²=1 может быть достигнуто только в случае, когда наблюдения проводились при различных значениях x-ов. Если же в данных имеются повторяющиеся опыты, то величина R² не может достичь единицы, как бы ни была хороша модель.