Линейность оценок
Оценки
параметров (3.17) и (3.18) представляют собой
линейные комбинации наблюдаемых значений
объясняемой переменной (т.е. линейны
относительно наблюдений
).
Обозначим
, (3.25)
. (3.26)
Тогда
, (3.27)
. (3.28)
Коэффициенты
и
обладают следующими свойствами:
, (3.29)
, (3.30)
, (3.31)
. (3.32)
В справедливости (3.29) – (3.32) легко убедиться непосредственно.
Несмещенность оценок
, (3.33)
. (3.34)
Докажем (3.33):
если 
.
Аналогично доказываем (3.34):
если .
Таким образом, свойство несмещенности оценок гарантируется условием (3.21).
Состоятельность оценок
Покажем, что при дополнительном условии
для любого
, (3.35)
имеют место равенства
, (3.36)
. (3.37)
Ограничимся доказательством (3.37). Свойство (3.36) доказывается аналогично. Имеем
Покажем, что
.
Действительно, это следует из соотношений
(3.38)
и
состоятельности оценки
для
.
Заметим,
что условие (3.35)
исключает
ситуацию, при которой с возрастанием
объема выборки значения
«сгущаются» в окрестности
,
так что ряд
оказывается сходящимся и знаменатель
дроби
(3.38)
стремится
к нулю.
Эффективность оценок
Это свойство означает, что оценка имеет минимальную дисперсию в заданном классе оценок:
. (3.39)
Покажем, что оценка , полученная с помощью МНК (см. (3.17)), является эффективной в классе линейных несмещенных оценок. Эффективность оценки доказывается аналогично.
Возьмем произвольную линейную, несмещенную оценку:
, (3.40)
где
– некоторые коэффициенты.
Для этой оценки имеем
=
=
= 
=
=
=
(3.41)
Из несмещенности оценки вытекают условия
. (3.42)
Найдем дисперсию
. (3.43)
При
этом мы воспользовались условиями 3) и
4) Гаусса – Маркова. Найдем коэффициенты
,
при которых дисперсия
будет минимальной. Для этого надо решить
следующую задачу на условный экстремум:
, (3.44)
, (3.45)
. (3.46)
Решим задачу (3.44) - (3.46) с помощью метода множителей Лагранжа. Построим функцию Лагранжа:
. (3.47)
Записывая необходимые условия экстремума
,
,
,
(3.48)
приходим к системе линейных алгебраических уравнений
(3.49)
Непосредственной проверкой можно убедиться в выполнении достаточных условий минимума, выраженных через вторые производные функции Лагранжа (ср. с (3.12) ).
Систему (3.49) удобно решить следующим образом. Просуммировав по левые и правые части первых n уравнений, получим с учетом (3.45)
. (3.50)
Повторив
процедуру суммирования после
предварительного умножения обеих частей
на
,
с учетом (3.46)
имеем
. (3.51)
Таким
образом, получена система уравнений
относительно
и
:
(3.52)
Решаем систему (3.52) относительно и :
;
. (3.53)
Из первого уравнения системы (3.49) получаем формулу для :
. (3.54)
Таким образом,
для всех
, (3.55)
т.е.
среди всех оценок
минимальную дисперсию имеет оценка МНК
.
Замечание.
Экстремальная
задача для
записывается аналогично, при этом
(3.56)
(3.57)
Решая систему линейных алгебраических уравнений, аналогичную (3.49), получаем
, (3.58)
т.е.
для всех
. (3.59)
Итог изучения свойств точечных оценок МНК подводит следующая теорема Гаусса – Маркова.
Теорема Гаусса – Маркова. Пусть выполнены условия Гаусса – Маркова (3.20) - (3.24), тогда оценки МНК являются наилучшими, линейными, несмещенными оценками.
Здесь термин «наилучшие» означает, что случайные величины имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.