Добавил:

Tushkan Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Национальный исследовательский университет «МЭИ»

Предмет:

Теория вероятностей и математическая статистика

Файл:

Лекции / Tema_9.doc

Скачиваний:

Добавлен:

28.06.2014

Размер:

3 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 45 / 65 6 > Следующая >>>

6. Задача нормальной линейной регрессии.

Рассмотрим задачу линейной регрессии (9.1)-(9.4), в которой предположение (9.5) заменено более сильным предположением в отношении вектора :

вектор имеет нормальное распределение,,

(9.10)

где – нулевой вектор порядкаи– единичная матрица порядка.

Задача линейной регрессии (9.1)-(9.4), (9.10) называется задачей нормальной линейной регрессии (иногда кратко нормальная регрессия).

Из (9.2) и (9.4) следует, что наблюдение , тогда из (9.10) следует, что векторимеет нормальное распределение (как линейное преобразование вектора, имеющего нормальное распределение). Из пункта 1 теоремы 9.3 (в пункте 1 предположениене используется), следует, чтои. Таким образом, векторимеет нормальное распределениес плотностью вероятности:

где .

Рассмотрим задачу построения оценки неизвестного вектора параметровпо методу максимального правдоподобия. Легко видеть, что функция правдоподобия,

принимает наибольшее значение при таком значении вектора параметров , при котором наименьшее значение принимает квадрат нормы. Отсюда следует, что МП-оценкаопределяется условием:

но из (9.2) квадрат нормы совпадает со среднеквадратичным отклонениеми наименьшее значениедостигается при оценке по методу наименьших квадратов. Отсюда следует, что в задаче нормальной линейной регрессии (9.1)-(9.4), (9.10) оценка по методу наименьших квадратов одновременно является оценкой максимального правдоподобия вектора параметров.

Заметим, что из условия (9.10) следует условие (9.5), поэтому теорема 9.3 о свойствах оценки по методу наименьших квадратов остается в силе и при замене (9.5) на (9.10). Условие (9.10) более сильное, поэтому позволяет установить ряд фактов о распределениях как самой оценки по методу наименьших квадратов, так и сопутствующих статистик в частности статистики (9.8), оценивающей остаточную дисперсию .

Прежде всего рассмотрим вспомогательное утверждение.

Утверждение 9.7.

Пусть , тогда существуют матрицыи:

, где и.
, где .

Доказательство:

1) Поскольку , то у матрицысуществует базис из собственных векторов, которые можно сделать ортономированными, тогда:

где столбцы матрицы являются ортономированными векторами базиса (отсюда следует, чтои, поскольку векторы базиса линейно независимы, тогда существуети следовательнои), и матрицаявляется диагональной матрицей, на главной диагонали которой располагаются собственные числа матрицы.

Заметим, что все собственные числа матрицы положительны, действительно, допустим противное:

а) пусть число является собственным числом матрицыисоответствует собственный вектор, тогда:

Поскольку , то отсюда следует, что столбцы матрицылинейно зависимы, и тогда, что противоречит условию утверждения.

б) пусть число является собственным число матрицыисоответствует собственный вектор, тогда с одной стороны:

а с другой стороны:

поскольку итак как. Одно неравенство противоречит другому.

Таким образом, все элементы на главной диагонали являются положительными числами, и следовательно корректным является следующее определение матрицы:

Поскольку – диагональная матрица, то, и, тогда:

2) В пункте 1 было показано, что все диагональные элементы матрицы положительны, поэтому в матрицевсе диагональные элементы также положительны, тогда корректным является определение матрицы:

Легко видеть, что ,и, поэтому.

Непосредственной проверкой легко убедиться, что , используя разложение, доказанное в пункте 1, действительно:

Поскольку по условию , тосуществует и единственна, тогда:

Утверждение доказано.

Везде далее для краткости использовано обозначение .

Теорема 9.8.

Если в задаче нормальной линейной регрессии (9.1)-(9.4), (9.10) , тогда:

1) оценка имеет нормальное распределение;

2) случайная величина имеет распределение;

3) случайная величина имеет распределение;

4) случайный вектор и случайная величинанезависимы;

5) случайные величины инезависимы.

Доказательство:

1) Поскольку , то существует обратная матрица, тогда из (9.3) при умножении левой и правой частей на:

Из (9.2) и (9.4) следует, что , тогда:

(9.11)

Поскольку имеет нормальное распределение иявляется линейным преобразованием, тоимеет нормальное распределение.

Легко видеть, что математическое ожидание :

поскольку из (9.10) следует . Дисперсионная матрица:

Согласно свойству дисперсионной матрицы , тогда:

Поскольку – симметричная матрица, то обратная матрицатоже симметричная, поэтому, тогда:

Таким образом, имеет нормальное распределение.

(Заметим, что из условия (9.10) следует (9.5), поэтому в условиях теоремы можно было воспользоваться теоремой 9.3, согласно, которой и).

2) В пункте 1 утверждения 9.2 было показано, что из (9.3) следует:

тогда для , используя сокращенные обозначения, получим:

Откуда с учетом (9.11) следует:

(9.12)

поскольку – симметричная матрица (как всякая обратная матрица симметричной матрицы).

Поскольку , то согласно утверждению 9.7 существует разложение:

, .

(9.13)

Подставляя разложение для из (9.13) в (9.12), получим:

тогда,

Пусть вектор столбец , тогда:

(9.14)

Вектор является линейным преобразованием вектораи согласно (9.10) векторимеет нормальное распределение, тогда вектортакже имеет нормальное распределение. Математическое ожидание:

где согласно (9.10) и– нулевой вектор порядка. Дисперсионная матрица:

используя разложение для из (9.13), получим:

где – единичная матрица порядка.

Таким образом, вектор имеет нормальное распределение, откуда следует, что в сумме квадратов (9.14) все случайные величины имеют нормальное распределениеи некоррелированы, но для совместно нормальных случайных величин из некоррелированности следует независимость, поэтому сумма квадратовимеет распределениеи, следовательно, случайная величинаимеет распределение.

3) При доказательстве пункта 2 в утверждения 9.4 условие (9.5) не использовалось, но использовалось условие , справедливое в условиях теоремы, поэтому из (9.9) следует:

Из (9.2) и (9.4) следует, что , тогда:

Таким образом,

(9.15)

Из (9.15) непосредственно следует:

(9.16)

где .

Покажем, что в (9.16) правая часть имеет распределение, в левой части второе слагаемоеимеет распределениеи не зависит от первого слагаемого. Отсюда будет следовать, что первое слагаемоеимеет распределение(свойство характеристических функций распределения).

Легко видеть, что правая часть (9.16) есть сумма квадратов:

(9.17)

Кроме того, вектор имеет нормальное распределение как линейное преобразование вектора, имеющего согласно (9.10) нормальное распределение. Математическое ожидание:

дисперсионная матрица :

Таким образом, вектор имеет нормальное распределение, поэтому все случайные величиныв сумме в (9.17) имеют нормальное распределениеи некоррелированы, следовательно независимы (поскольку для совместно нормальных случайных величин из некоррелированности следует независимость), поэтому суммаи величинаимеют распределение.

Величина рассматривалась в пункте 2 доказательства, из (9.12):

и было показано, что имеет распределение, тогда случайная величинаимеет такое же распределение.

Из условия следует разложение для(9.13), тогда:

(9.18)

Заметим, что в правой части (9.15) матрица является идемпотентной (, действительно:

Кроме того, матрица является симметричной (), действительно:

где , поскольку– симметричная матрица и обратная матрица всякой симметричной матрицы тоже симметрична.

Таким образом, из (9.15):

(9.19)

Покажем, что векторы ииз (9.18) независимы. Рассмотрим расширенный вектор, легко видеть, что расширенный векторявляется линейным преобразованием вектора:

Согласно (9.10) вектор имеет нормальное распределение, тогда вектортакже имеет нормальное распределение. Для совместно нормальных величин независимость следует из некоррелированности, поэтому для доказательства независимостиидостаточно показать, чтоинекоррелированы, то есть ковариационная матрицаявляется нулевой. Ковариационная матрица, образованная ковариациями, имеет вид:

Заметим, что и, тогда:

где – нулевая матрица порядка, поскольку из (9.10)и.

Таким образом, векторы инезависимы, тогда из (9.18) и (9.19) независимы величиныи, тогда независимы величиныив (9.16). Откуда с учетом доказанных ранее распределений дляивеличинаимеет распределение.

4) Для доказательства независимости вектора и величинывоспользуемся представлениями (9.11) и (9.19). Рассмотрим расширенный вектор, легко видеть, что:

поэтому имеет нормальное распределение, как линейное преобразование вектора, имеющего согласно (9.10) нормальное распределение. Для совместно нормальных случайных величины независимость следует из некоррелированности, поэтому для доказательства независимостиидостаточно показать, что матрица ковариацийявляется нулевой матрицей: