4. Оценка остаточной дисперсии.

В условиях (9.1)-(9.5) рассмотрим вопрос оценки остаточной дисперсии . Из (9.4) следует, чтои величиныиграют роль «остатков», поэтому дисперсияназывается остаточной.

Утверждение 9.4.

Если в задаче линейной регрессии (9.1)-(9.5) и статистика:

,

тогда:

1) является несмещенной оценкой;

2) .

Доказательство:

1) Пусть – оценка по методу наименьших квадратов в задаче (9.1)-(9.5). При доказательстве утверждения 9.2 в пункте 1 было установлено, что для любого вектора параметров:

,

где – матрица значенийиз (9.4),. Отсюда следует, что для вектора параметров:

,

.

Вычислим математическое ожидание левой и правой части:

.

Поскольку и из (9.2) и (9.4) следует(где вектор столбец), то:

.

В силу условия (9.5) пункты 1 и 2:

.

Легко видеть, что:

.

Поскольку по условию , то в силу теоремы 9.3 оценкаявляется несмещенной оценкой, то есть:

,

,

, .

Таким образом,

,

где – дисперсионная матрица оценки, причем согласно теореме 9.3 пункт 3 (по условию утверждения):

,

тогда,

.

Поскольку симметричная матрица, то, тогда:

.

Таким образом,

.

Отсюда следует, что статистика :

(9.8)

является несмещенной оценкой для остаточной дисперсии , действительно:

.

2) Заметим, что при условии из (9.3) оценкаи для статистикиможет быть получено выражение только через наблюдение:

.

(9.9)

где – единичная матрица порядка.

Утверждение доказано.

5. Качество регрессии и коэффициент детерминации.

Предположим, что в задаче линейной регрессии (9.1)-(9.5) построена оценка по методу наименьших квадратов , в след за построением, в ряде случаев на практике возникает вопрос о «качестве» построенной регрессии. Вопрос о «качестве» возникает также и при сравнении различных вариантов регрессий, когда в отношении условного математического ожидания (9.1) выдвигаются различные предположения с различным числом параметрови различным набором функций, а также когда увеличивается количествослучайных величин. Для определения «качества» регрессии используется числовая характеристика, которая называется коэффициент детерминации.

Пусть в задаче линейной регрессии (9.1)-(9.5) ,– наблюдение,– оценка по методу наименьших квадратов и– вектор регрессионных значений. Можно показать, что:

,

где , или в векторной форме:

,

где – вектор, составленный из средних значений. Полученное соотношение показывает, что вариацию наблюденияотносительно среднего значенияможно разложить на отклонение регрессионных значенийот наблюденияи вариацию регрессионных значенийотносительно среднего. Разделив левую и правую части наполучим:

,

.

Определение 9.5.

Коэффициентом детерминации называется число:

.

В координатной форме коэффициент детерминации имеет вид:

.

Коэффициент детерминации отражает меру расхождения между наблюдением и регрессионными значениями, отнесенную к вариации наблюдения.

Если – величина близкая к 0, то дробь – величина близкая к 1, и, следовательно, регрессионные значениясосредоточены вблизи постоянного значения, что является показателем регрессии «плохого» качества – регрессия не повторяет (не улавливает) вариацию наблюдения, что, скорее всего, обусловлено неудачным выбором набора функцийили указывает на «слабую вероятностную зависимость» между случайной величинойи случайными величинами.

Если – величина близка к 1, то дробь – величина близка к 0, тогда регрессионные значенияоказываются близкими к наблюдению, что свидетельствует о регрессии «хорошего» качества – регрессия весьма точно воспроизводит изменение наблюдения, что означает «сильную вероятностную зависимость» между случайной величинойи случайными величинами.

Коэффициент детерминации может быть использован и для сравнения двух регрессий с одинаковым числомслучайных величин. Из двух вариантов регрессии лучшей следует признать ту, для которой коэффициент детерминациибольше.

Использование коэффициента детерминации для сравнения регрессий с различным количествомслучайных величинможет оказаться некорректным, поскольку исходно варианты регрессии оказываются в различных условиях: регрессия с большим количествомтеоретически оказывается в более выгодном положении, хотя при неудачном выборе функций(в (9.1)) в итоге может оказаться хуже. Тем не менее, для корректного сравнения регрессий в данном случае следует использовать скорректированный коэффициент детерминации, учитывающий количество случайных величин.

Определение 9.6.

Скорректированным коэффициентом детерминации называется величина:

.

По-прежнему из двух вариантов регрессии лучшей следует считать ту, для которой величина больше.