§15. Коэффициент детерминации

Коэффициент детерминации характеризует качество регрессионной модели.

Значения различных величин, полученных расчетами, будем в дальнейшем обозначать «».

Рассмотрим случай парной регрессии . Имеет место равенство. Для суммы квадратов отклоненийy_i от среднего

(TSS – total sum of squares)

имеем TSS = RSS+ESS, где сумма квадратов отклонений, объясненная регрессией (RSS — regression sum of squares), остаточная сумма квадратов отклонений (ESS – error sum of squares).

Коэффициент детерминации определяется по формуле:

. . (15.1)

Из (15.1) видно, что R²[0,1] и чем меньше R² отличается от 1, тем лучше регрессионная модель.

В математической статистике вводится выборочный коэффициент корреляции между данными наблюдений(x_i,y_i), i=1, 2, …, n. Напомним, что ,,

.

Поскольку , величинуr можно представить в виде . С другой стороны,, откуда следует, что

.

Поэтому , т.е. коэффициент детерминации равен квадрату выборочного коэффициента корреляции .

§16. Средняя ошибка аппроксимации

Фактические значения интересующей нас величины отличаются от рассчитанных по уравнению регрессии. Чем меньше это отличие, чем ближе рассчитанные значения подходят к эмпирическим данным, тем лучше качество модели. Величина отклонений фактических и расчетных значений переменной величины по каждому наблюдению представляет собой ошибку аппроксимации. Так как отклонение может быть величиной как положительной, так и отрицательной, то ошибки аппроксимации для каждого наблюдения принято определять в процентах по модулю.

Отклонения () рассматриваются как абсолютная ошибка аппроксимации, тогда– относительная ошибка аппроксимации.

Средняя ошибка аппроксимации определяется как среднее арифметическое: . Иногда пользуются определением средней ошибки аппроксимации, имеющим вид.

§17. Принцип максимального правдоподобия. Построение регрессионных моделей при гетероскедастичности ошибок

Для нахождения неизвестных величин по результатам измерений, содержащих случайные погрешности, служит метод наименьших квадратов (МНК). Определяемые величины обычно связаны уравнениями, образующими избыточную систему.

Метод наименьших квадратов строит оценки на основе минимизации суммы квадратов остатков. Для его применения необходимо выполнение следующих пяти условий:

случайный характер остатков;

нулевая средняя величина остатков, не зависящих от независимой переменной;

гомоскедастичность – дисперсия каждого отклонения _i одинакова для всех значений переменной;

отсутствие автокорреляции остатков. Значения _i распределены независимо друг от друга;

остатки подчиняются нормальному распределению.

Для возможности применения МНК необходимо проверить характер остатков _i по всем пяти условиям.

Если величины _i являются случайными величинами, распределенными по нормальному закону - _i(0,²), так что E_i = 0, D_i=² и некоррелированы - cov (_i, _j) = 0 (i j), а значит, и независимы, то можно применить МНК. Постоянство ²

для всех _i означает равноточность задания величины y_i; величины x_i мы считаем заданными точно. Свойство равноточности измерения y_i иначе называется гомоскедастичностью. Если же и_i различны, то говорят о гетероскедастичности регрессионной модели.

Пусть эмпирические данные наблюдений (x₁, x₂, …, x_n) характеризуют случайную величину xN(, ²), для которой математическое ожидание = Ex и дисперсия ² = Dx неизвестны и их требуется оценить. Выпишем функции плотности нормального распределения . Согласнопринципу максимального правдоподобия предполагаем, что функция L=f(x₁)f(x₂)…f(x_n) принимает наибольшее значение при истинных значениях параметров и ². Удобнее иметь дело с

.

В нашем примере , поэтому

.

Выпишем необходимые условия экстремума функции ln L (и L):

,.

Решение этой системы уравнений после простых преобразований приводит к оценкам

,

.

Заметим, что

, .

Пример показывает, что принцип максимального правдоподобия не обязательно приводит к несмещенной оценке искомых параметров.

Воспользуемся принципом максимального правдоподобия для анализа гетероскедастичности. В этом случае модель парной линейной регрессии имеет вид y_i = a+bx_i+_i , где E_i = 0, D_i = _i², так что _i(0, _i²). Соответствующие плотности вероятностей . Логарифмическая функция правдоподобия

.

Теперь ясно, как модифицировать МНК в случае гетероскедастичности ошибки _i :

.

В случае гомоскедастичности дисперсии _i равны и мы получаем классическую формулировку МНК.

Часто вводится веса наблюдений , при этом число выбирается так, чтобы веса были целыми числами. МНК сводится к минимизации взвешенных сумм квадратов:

.