Лекции (Теория вероятности)

Лекция 19

Метод наименьших квадратов

Рассмотрим задачу о подборе функции одного переменного - подборе по неточным наблюдениям (измерениям). Предположим, что переменные y и x1;:::;xp связаны линейным соотношением

y = µ1x1 + µ2x2 + ¢¢¢ + µpxp;

где коэффициенты µ = (µ1;:::;µp) неизвестны. При некоторых значениях xi1;xi2;:::;xip, i = 1;n, переменных x1;:::;xp (называемых обычно факторами) были произведены измерения переменной y (называемой откликом) со случайной ошибкой "i, так что вместо неслучайных величин

yi = µ1xi1 + µ2xi2 + ¢¢¢ + µpxip; i = 1;n;

наблюдались случайные величины

Возникает задача оценивания неизвестных коэффициентов µ = (µ1;:::;µp) по наблюдениям Y =

(y1;y2;:::;yn)T и элементам xij матрицы X размера n £ m.

Основное предположение об ошибках состоит в том, что случайные величины "1;"2;:::;"n считаются независимыми и E"i = 0, т.е. систематических ошибок при измерении отклика нет. Менее важные предположения заключаются в том, что "i распределены одинаково и по нормальному закону N(0;¾2). Величина ¾ обычно считается неизвестной. Она численно выражает неточность (изменчивость) измерений, т.е. масштаб случайных ошибок.

Систему (19.1) можно записать в матричном виде

Один из способов оценивания коэффициентов µ = (µ1;:::;µp), называемый методом наименьших

Теорема 19.1 Предположим, что ранг матрицы X равен p. Тогда оценка наименьших квадратов имеет вид

Теорема 19.2 Пусть "1;"2;:::;"n независимые одинаково распределенные случайные величины

сM"i = 0 и конечной дисперсией D"i = ¾2. Тогда оценка наименьших квадратов

^T ¡1 T

µ= (X X) X Y

является несмещенной и состоятельной оценкой параметра µ = (µ1;:::;µp).

Обозначим

S(µ) = (Y ¡ Xµ)T (Y ¡ Xµ);

(d1;d2;:::;dp) диагональные элементы матрицы (XT X)¡1.

91

Теорема 19.3 Пусть "1;"2;:::;"n независимые одинаково распределенные нормальные случайные величины с M"i = 0 и конечной дисперсией D"i = ¾2. Тогда оценка наименьших квадратов

^T ¡1 T

µ= (X X) X Y

является несмещенной, состоятельной оценкой параметра µ = (µ1;:::;µp) и нормальным случайным вектором с математическим ожиданием µ = (µ1;:::;µp) и ковариационной матрицей

2 T ¡1 ^ ^

¾ (X X) . Интервальная оценка для µj уровня доверия 1 ¡ ® имеет вид (µj ¡ ¢;µj + ¢), где

s

dj ^ ¢ = t1¡®(n ¡ p) n ¡ pS(µ);

а t1¡®(n ¡ p) квантиль распределения Стьюдента уровня 1 ¡ ® с n ¡ p степенями свободы.

Рассмотрим теперь задачу оценивания зависимости

y = µ1'1(t) + µ2'2(t) + :::µp'p(t);

считая функции '1;'2;:::;'p известными, по измерениям Y = (Y1;Y2;:::;Yn) величины y в неслучайных точках t1;t2;:::;tn со случайными ошибками " = ("1;"2;:::;"n):

ющие данные о количестве y азот-

Таблица 19.1.

нонатриевой соли NaNO3, которое можно растворить в 100 г воды в зависимости от температуры t (см. таб. 19.1). Построим по этим данным приближенную эмпирическую формулу вида

^

µ = (66:71;0:9604;¡0:001359); y ¼ 66:71 + 0:9604t ¡ 0:001359t2:

92

Оглавление

93