книги / Математические методы принятия решений

параметры 9 являются свободными. Модель неполного ранга здесь не рассматривается.

А. П р о с т е й ш и й с л у ч а й : а2 — 1. Используя метод наимень­ ших квадратов, найдем точку минимума квадратичной формы

Q(0) = ете = {у~ XQ)T(y - XQ) = уТу - 2ВтХ ту + ВТХ ТХВ.

Дифференцируя Q(9) по 9, получим систему нормальных урав­

нений

- 2 Х ту + 2 Х ГХВ = 0.

Отсюда имеем

9 = (Х тХ ) ~ ' Х ту.

Минимальное значение S квадратичной формы Q(B) при 9 = 9 вычислим по формуле

S = уту - 2[(Х тХ Г \ Х ту)УХт +

+[(ХтХ ) - \ Х ту)]тХ тХ ( Х тХ ) - 1Х'су =

=уту - 2утХ [ (Х гХ )~1( Х ту)]т+ утХ ( Х ^ Х Г 1Х ТХ ( Х ТХ )~1 X ху =

= у ту - у тХ ( Х т* Г 1Х ту ,

откуда получим

S = уту —утХВ.

Здесь использованы соотношения (АВ)Т= В ТАТ, (А В )~1 =

= В ~ ХА ~ Х.

Итак, при нахождении точечной оценки параметров методом наименьших квадратов не требуется предположения о нормальном законе распределения исходных данных. Однако это предположе­ ние необходимо при построении доверительных интервалов и для проверки гипотез о параметрах 9.

Рассмотрим свойства оценок, полученных методом наименьших квадратов.

Теорема. Оценка 9 является несмещенной оценкой пара­ метра 9.

Д о к а з а т е л ь с т в о . Найдем математическое ожидание оце­

нок 9:

М(9) = М[(ХтХ ) - 'Х ту] = (Х тХ ) - 'Х тМ(у).

Поскольку М(у) = Х в, то М(9) = (Х ТА’)- 1Х ТА’9 = 9. Теорема доказана.

Теорема (Гаусса—Маркова). Среди класса оценок 0* величи­ ны 0, которые являются несмещенными оценками и представляют собой линейные комбинации исходных данных у, с помощью ме­ тода наименьших квадратов можно найти такую оценку 0, что D(0) ^ D(0*), т.е. в —наиболее точная оценка величины 0 из всех возможных, принадлежащих данному классу (эффективная оценка).

Доказательство теоремы можно найти в [40, 49, 89].

Получим формулу для D(0). Пусть дисперсия D(ej) = о2, j = = 1,2, ... , п, т. е. D(y) = о21. В общем случае имеет место равенство D(Wy) = W D (y)W \ При 0 = (Х ТХ ) ~ ' Х Ту имеем

D(0) = ( Х ТХ У 1X TD(y)[(XTX r 1Х т]т=

=( Х тХ ) ~ 1Х то21 Х ( Х тХ ) - 1=

=o2(X rX ) - ' X 4 X ( X JX ) - 1= о 2( Х тХ ) ~ 1

Из формулы D(0) = о2(Х тХ ) ~ ] следует, что дисперсии оценок могут быть получены без знания самих оценок, причем оценка неизвестного параметра а 2 имеет вид

где п —число точек наблюдения, р — число оцениваемых компонен­ тов вектора 0.

Замечание. Приведенными формулами для вычисления диспер­ сии можно пользоваться, несколько их изменив, если каждое на­ блюдение имеет свой вес Oj. Пусть D(EJ ) = а2; тогда можно поло­

г=1 е* = tjyjЩ. Тогда

2

D(eî) = D(tj s/ôÿj) = u>jD(zj) = (ùj— = a 2, G)j

и минимальным значением функционала будет величина

s = Х!(ер2 = Е

вектор наблюдений у = (4 ,4 ,4)т и ковариационная матрица для зна­

Поскольку параметр а2 постоянен для всех наблюдений, то на точечную оценку 0 значение а 2 влияния не оказывает. В результате получим

0 = (1,00; 0,75)т, е = у - ХВ = (0,25; 1,25; -0,50)т. Тогда имеем

Отсюда получаем ст(0[) = 1,000, о(0г) = 1,854.

Из вида полученной корреляционной матрицы оценок парамет­

следует, что бессмысленно в данном примере приводить только средние квадратические отклонения оценок, так как велики недиа­ гональные элементы (рис. 7.6). Большая положительная ошибка в оценке 0] приведет к большой отрицательной ошибке в оцен­ ке 02. На рис. 7.6 указаны маргинальные средние квадратические

отклонения a(0i) и а(02) и интервальные оценки 0i и 02, они опре­ деляются проекциями эллипса на соответствующие оси координат.

В общем случае из условия нормального распределения вектора оценок 0 следует, что квадратичная форма

Q(0,0) = ( 0 - 0 ) TD(0)(0-0)

распределена по закону x2(N), где N —размерность вектора 0. По­ этому можно записать вероятностное утверждение:

р { < ? ( ё , е к ф = р ,

где р — доверительная вероятность, Щ— квантиль для х2(ЛГ)-распре- деления.

Область в пространстве параметров 0 задается уравнением Q(6, в) = kl и имеет вид гиперэллипсоида. Отсюда можно получить доверительную область для вектора оценок 0.

В рассматриваемом примере для эллиптической доверитель­ ной области при р = 0,68 имеем Щ = 3,8. Если /ср = 1, то получим Р = 0,39. При коэффициенте корреляции р(0ь 0г) = 0,95 и квантили kp = 1 прямоугольная область, включающая в себя эллипс, имеет доверительную вероятность р = 0,498 [68].

Из рис. 1.1-1.9 можно определить эллиптические и прямоуголь­ ные доверительные области.

В качестве примера определим вероятность Р(к) попадания слу­ чайной точки для нормального закона распределения в эллипс рас­ сеяния, полуоси которого равны к средним квадратическим откло­ нениям по соответствующим осям. Для этого вычислим двойной интеграл

от двумерной плотности распределения вероятностей с нормаль­ ным законом распределения в границах эллипса рассеяния G:

а2(х) а2(у) ’

где о(х) и а(у) — средние квадратические отклонения по осям х и у соответственно. Получим

Р(к) = 1 - e " fc2/2,

т. е. если каждая полуось эллипса равна одному среднему квадрати­ ческому отклонению о(х) и а(у), то вероятность попадания точки в заданный эллипс рассеяния равна

Р(к = 1) = 1 —е-1/2 % 0,393.

§7.6. Оценка параметров моделей

спомощью функции правдоподобия

Одним из наиболее часто применяемых методов оценки свобод­ ных параметров функций известного вида (в данном случае функ­ ций распределения и плотностей распределения вероятностей) яв­ ляется метод максимума правдоподобия.

Пусть случайная величина х имеет плотность распределения вероятностей f(x, G), где G — неизвестный вектор параметров этого распределения. Проведем независимые выборки и получим реали­ зации х\, Х2, ..., х п. Дифференциал совместной плотности распре­ деления вероятностей результатов наблюдений имеет вид

L(x 1, Х2, ■. •, х п\ G) dx 1dx2 ... dxn =

Здесь первый интеграл — выражение для дисперсии D(0), т. е.

1 < т \* de )

дIn L(0 I 6)

м[( дв

Это неравенство называется неравенством Крамера—Рао. Тео­ рема доказана.

Поскольку для нахождения D(0) используется l n L ( 0 10) и по­ скольку точки максимумов функций L(0 10) и In L(0 10) совпада­ ют в силу монотонности логарифма, то для определения точечной оценки 0 решается уравнение правдоподобия

д In L(Q 10)

дв

Л /Ч

Дифференцирование функции In L(Q 10) вместо функции L (0 10) часто упрощает расчеты.

Метод определения оценки 0 с помощью функции правдоподо­ бия называется методом максимума правдоподобия (ММП).

В асимптотике (для состоятельных оценок) имеем

М

J е=е

Из неравенства Крамера—Рао следует, что наименьшая величина дисперсии оценки (для эффективной оценки) определяется по фор­ муле

Пример. Найти точечные оценки математического ожидания т и дисперсии а 2 функции плотности нормально распределенных случайных величин.