2. Задача линейной регрессии и оценка по методу наименьших квадратов.
Задача линейной регрессии является частным случаем практической задачи, изложенной в предыдущем пункте, в котором априорно известно (или предполагается), что условное математическое ожидание является функцией линейно зависящей от параметра :
|
(9.1) |
где
– фиксированный, но неизвестный числовой
вектор, и
– известные детерминированные функции
(
).
В этом важном частном случае может быть
получено уравнение для нахождения
вектора параметров
,
при котором среднеквадратичное отклонение
принимает наименьшее значение.
Из (9.1) следует, что:
где
|
(9.2) |
,
,
–
-ая
строка матрицы
,
и среднеквадратичное отклонение
принимает вид:
.
Решение
задачи нахождения вектора
,
при котором среднеквадратичное отклонение
принимает наименьшее значение, дается
методом наименьших квадратов, а сам
вектор
,
называют оценкой
по методу наименьших квадратов.
Необходимое
условие экстремума
как функции параметра
заключается в равенстве частных
производных
нулю в точке
:
,
.
Вычислим частные производные:
,
,
,
,
,
|
(9.3) |
Полученное
уравнение называется нормальным
уравнением
метода наименьших квадратов. Нормальное
уравнение играет роль необходимого
условия: «если
принимает наименьшее значение в точке
,
тогда
удовлетворяет нормальному уравнению
».
Отсюда следует, что среди всех решений
нормального уравнения есть решения,
доставляющие минимальное значение
среднеквадратичному отклонению. Однако,
отсюда еще не следует, что любое решение
нормального уравнения будет доставлять
минимальное значение среднеквадратичному
отклонению. Тем не менее, оказывается,
что это действительно так, необходимое
условие в некоторых случаях является
достаточным: «если
удовлетворяет нормальному уравнению
,
тогда
принимает наименьшее значение в точке
»,
доказательству этого факта посвящено
утверждение 9.2, основанное на утверждении
9.1.
Утверждение 9.1.
Для
матрицы
порядка
:
1)
матрица
неотрицательно определена,
;
2)
если
и ранг матрицы
равен
,
тогда матрица
положительно определена,
.
Доказательство:
1)
Пусть
– произвольный вектор столбец порядка
,
тогда:
.
2)
Согласно первому пункту имеет место
неотрицательная определенность
,
покажем, что если ранг матрицы
равен
,
то имеет место положительная определенность
,
для этого покажем, что для всех векторов
столбцов
порядка
справедливо
.
Допустим
противное, пусть существует вектор
такой, что
,
тогда:
.
По
определению нормы равенство
возможно тогда и только тогда, когда
,
но тогда столбцы матрицы
линейно зависимы и следовательно ранг
матрицы
не может быть равен
.
Утверждение доказано.
Утверждение 9.2.
Пусть
– вектор порядка
и
– матрица порядка
,
где
,
если
– решение нормального уравнения:
,
тогда,
.
Если
дополнительно ранг матрицы
равен
,
тогда решение нормального уравнения
единственно, дается равенством
,
и является единственным вектором, при
котором
принимает наименьшее значение.
Доказательство:
1) Преобразуем выражение для :
.
Поскольку
является решением нормального уравнения,
то
,
тогда:
.
Согласно
утверждению 9.1 матрица
всегда неотрицательно определена,
поэтому для любого вектора, в том числе
и для
выражение
,
отсюда:
.
Таким
образом, для произвольного
:
,
Тогда,
.
2)
Пусть ранг матрицы
равен
,
тогда согласно утверждению 9.1 пункт 2
имеет место положительная определенность
,
из которой следует, что
.
Действительно, допустим противное,
пусть
,
тогда столбцы матрицы
линейно зависимы и существует вектор
такой, что
,
но тогда
и матрица
не является положительно определенной,
что противоречит пункту 2 утверждения
9.1.
Поскольку
,
то, как известно, решение системы
с невырожденной матрицей
существует и единственно, и существует
обратная матрица
,
тогда, умножая равенство
слева на
,
получим:
.
Пусть
ранг матрицы
равен
,
тогда согласно утверждению 9.1 пункт 2
,
тогда на основании пункта 1 для любого
вектора
значение
,
тогда:
,
то есть является единственным вектором, при котором принимает наименьшее значение.
Утверждение доказано.