2. Задача линейной регрессии и оценка по методу наименьших квадратов.

Задача линейной регрессии является частным случаем практической задачи, изложенной в предыдущем пункте, в котором априорно известно (или предполагается), что условное математическое ожидание является функцией линейно зависящей от параметра:

(9.1)

где – фиксированный, но неизвестный числовой вектор, и – известные детерминированные функции (). В этом важном частном случае может быть получено уравнение для нахождения вектора параметров, при котором среднеквадратичное отклонениепринимает наименьшее значение.

Из (9.1) следует, что:

, где ,

(9.2)

–-ая строка матрицы , и среднеквадратичное отклонение принимает вид:

.

Решение задачи нахождения вектора , при котором среднеквадратичное отклонение принимает наименьшее значение, дается методом наименьших квадратов, а сам вектор, называютоценкой по методу наименьших квадратов.

Необходимое условие экстремума как функции параметразаключается в равенстве частных производныхнулю в точке:

, .

Вычислим частные производные:

, ,

, ,

,

(9.3)

Полученное уравнение называется нормальным уравнением метода наименьших квадратов. Нормальное уравнение играет роль необходимого условия: «если принимает наименьшее значение в точке, тогдаудовлетворяет нормальному уравнению». Отсюда следует, что среди всех решений нормального уравнения есть решения, доставляющие минимальное значение среднеквадратичному отклонению. Однако, отсюда еще не следует, что любое решение нормального уравнения будет доставлять минимальное значение среднеквадратичному отклонению. Тем не менее, оказывается, что это действительно так, необходимое условие в некоторых случаях является достаточным: «еслиудовлетворяет нормальному уравнению, тогдапринимает наименьшее значение в точке», доказательству этого факта посвящено утверждение 9.2, основанное на утверждении 9.1.

Утверждение 9.1.

Для матрицы порядка:

1) матрица неотрицательно определена,;

2) если и ранг матрицыравен, тогда матрицаположительно определена,.

Доказательство:

1) Пусть – произвольный вектор столбец порядка, тогда:

.

2) Согласно первому пункту имеет место неотрицательная определенность , покажем, что если ранг матрицыравен, то имеет место положительная определенность, для этого покажем, что для всех векторов столбцовпорядкасправедливо.

Допустим противное, пусть существует вектор такой, что, тогда:

.

По определению нормы равенство возможно тогда и только тогда, когда, но тогда столбцы матрицылинейно зависимы и следовательно ранг матрицыне может быть равен.

Утверждение доказано.

Утверждение 9.2.

Пусть – вектор порядкаи– матрица порядка, где, если– решение нормального уравнения:

,

тогда,

.

Если дополнительно ранг матрицы равен, тогда решение нормального уравненияединственно, дается равенством, и является единственным вектором, при которомпринимает наименьшее значение.

Доказательство:

1) Преобразуем выражение для :

.

Поскольку является решением нормального уравнения, то, тогда:

.

Согласно утверждению 9.1 матрица всегда неотрицательно определена, поэтому для любого вектора, в том числе и длявыражение, отсюда:

.

Таким образом, для произвольного :

,

Тогда,

.

2) Пусть ранг матрицы равен, тогда согласно утверждению 9.1 пункт 2 имеет место положительная определенность, из которой следует, что. Действительно, допустим противное, пусть, тогда столбцы матрицылинейно зависимы и существует вектортакой, что, но тогдаи матрицане является положительно определенной, что противоречит пункту 2 утверждения 9.1.

Поскольку , то, как известно, решение системыс невырожденной матрицейсуществует и единственно, и существует обратная матрица, тогда, умножая равенствослева на, получим:

.

Пусть ранг матрицы равен, тогда согласно утверждению 9.1 пункт 2, тогда на основании пункта 1 для любого вектора значение , тогда:

,

то есть является единственным вектором, при которомпринимает наименьшее значение.

Утверждение доказано.