23. Основные гипотезы. Теорема Гаусса-Маркова.

Теорема Гаусса–Маркова утверждает, что МНК-оценка является наилучшей в том смысле, что ее ковариационная матрица является наименьшей.

Квадратная матрица больше другой квадратной матрицы, если разность– положительно определенная матрица. Напомним, что матрица С является положительно определенной, если для любого вектораимеет место неравенство.

Итак, МНК-оценка имеет вид

Обозначим . Тогда. Эта оценка несмещенная, ибо приполучим

ибо Предположим, что существует другая несмещенная оценка, для которой выполняется равенство

Для несмещенности необходимо

т.е Итак, матрицадолжна быть псевдообратной матрицей по отношению к матрицеA. Аналогично поэтому

Вычислим ковариационную матрицу оценки :

где – ковариационная матрица шумов измерения. Аналогично

Образуем разность и выполним небольшие преобразования

Однако

так как , аМатрицатакже равна нулю, так как она является транспонированной к нулевой матрицеИтак,

Полученная матрица неотрицательно определена. Это легко доказать. Из теории случайных векторов известно, что ковариационная матрица случайного вектора положительно определена. Рассмотрим следующий случайный вектор

Ковариационная матрица этого вектора имеет вид

Матрица принимает минимальное значение, равное нулю приСледовательно,

Полученное неравенство и доказывает теорему.

Пример 1. Решить систему уравнений с помощью метода наименьших квадратов:

+0,150

Точные значения иизвестны и равны соответственно 1,000 и –1,000. Выборочная дисперсия погрешностей правой части системы равна

Следуя схеме МНК, находим нормальные уравнения

,

откуда

Определим остаточные разности Значения их приведены справа от системы уравнений. Апостериорную оценку дисперсии единицы веса вычислим по формуле

Отличие апостериорной оценки от априорной объясняется недостаточным объемом данных, хотя оно, по-видимому, не значимо. Ковариационная матрица системы имеет вид

Следовательно,

=

=–0,98.

24. Метод наименьших квадратов. Оценка дисперсии ошибок.

Классическим вариантом оценивания параметров по наблюдениям, осложненным шумами, является метод наименьших квадратов (МНК). В этом случае наблюдения заданы в дискретные моменты времени, причем m=1, так что – скалярная величина. Матрица C(k) превращается в матрицу-строку. Для того чтобы сохранить традиционные для МНК обозначения, примем

Таким образом уравнения наблюдений принимают вид

Пусть

В матричном виде уравнение принимает вид

Допустим, что мы располагаем оценкой , но погрешностьr , естественно, нам неизвестна. Тогда можно предвычислить наблюдения

или в матричной форме

Теперь можно построить остаточные разности

указывающие на рассогласование наблюдений и вычисленных значений. Задача МНК-оценивания состоит в таком выборе вектора параметров, чтобы минимизировать критерий качества, заданный в виде квадратичной формы

В матричном виде этот критерий имеет вид

где

Здесь Q – пока не определенная весовая матрица, обладающая свойством симметрии.

Дифференцируя I по и приравнивая результат нулю, получим нормальные уравнения

(10.1)

Следовательно, МНК-оценка вектора параметров имеет вид

(10.2)

Погрешность оценки равна

Определим ковариационную матрицу погрешности оценки

где R – ковариационная матрица ошибок измерений: . Полагая измерения независимыми, мы получим

поэтому R – диагональная матрица

,

элементами которой являются дисперсии ошибок измерений. Очевидно, что для

(10.3)

будем иметь

(10.4)

В частном, но довольно распространенном случае, когда измерения равноточны, ковариационная матрица ошибки измерений имеет вид

так что

Величина называетсядисперсией единицы веса, диагональные элементы матрицы –дисперсиями погрешностей составляющих вектора x.

Формула (10.2) показывает, что весовая матрица Q может быть определена с точностью до постоянного множителя. Действительно, заменяя Q на получим тот же результат

Обозначим через вес измерения в момент. Весовая матрица (10.3) будет иметь вид

(10.5)

а ковариационная матрица оценки –

–(10.6)

будет отличаться от вида (10.5) множителем .

Для априорной оценки величину дисперсии единицы веса нужно задать. Однако при достаточно большом объеме измерений оценку этой величины можно определить и апостериорно, т.е. после обработки данных измерений. Приведем эту формулу без вывода

.

Отличие отбудет говорить о том, что

1. число избыточных наблюдений недостаточно велико,

2. неудачно выбрана система весов наблюдений, дисперсии не отражают реальную точность,

3. измерения содержат систематические ошибки.

Наконец, результат МНК-оценивания записывают в виде

где – средняя квадратическая ошибка вектораx,

,

–j-й диагональный элемент матрицы .

25. Проверка гипотез о параметрах модели. Доверительные интервалы

Доверительным интервалом называется интервал, построенный с помощью случайной выборки из распределения с неизвестным параметром, такой, что он содержит данный параметр с заданной вероятностью α.

Наиболее распространенным является оценка математического ожидания a случайной величины X, распределенной по нормальному закону, при известном среднем квадратическом отклонении σ. В этом случае для оценки математического ожидания a служит интервал:

где – точность оценки, n – объём выборки, – выборочное среднее, t – аргумент функции Лапласа, при котором .

Рассмотрим пример. Пусть среднее квадратическое отклонение σ нормально распределенного признака X генеральнойсовокупности равно 5, объём выборки n равен 100 и выборочное среднее . Найдем доверительный интервал математического ожидания a при α=0,9.

Все величины, кроме t, известны. Найдем t по специальной таблице, исходя изсоотношения Получим, что t=1,65, следовательно:

или 19,175≤a≤20,825.

Таким образом, можно сделать вывод о том, что математическое ожидание генеральной совокупности с вероятностью α=0,9 окажется внутри полученного интервала.Во многих задачах требуется установить и оценить зависимость одной случайной величины от другой. Две случайные величины могут быть связаны функциональной зависимостью, что случается крайне редко, либо зависимостью другого рода, называемой статистической, либо быть независимыми.