книги / Математические методы принятия решений

состоятельны и, кроме того, асимптотически нормальны и эффек­ тивны.

Если функция правдоподобия имеет вторые производные по 6 в интервале, включающем истинное значение 0о, и если, кроме того,

М[ ^ ] - 0

и существует матрица

элементы шторой отличны от нуля в указанном интервале, то оцен­ ка 6 асимптотически нормально распреде­

по нормальному закону N(\x, а2). Логарифм функции правдоподо­ бия имеет вид параболы:

1)точность способа преобразования имеет порядок 1/п , так как преобразуем экспериментальную функцию правдоподобия, тогда как нужно было бы получить (преобразовать) нормальное распре­ деление вместо полученного распределения;

2)полученный интервал может быть «широким» и несиммет­ ричным для первоначальной переменной 0;

3)если функция правдоподобия имеет несколько максимумов, то эта процедура выявляет несколько интервалов, однако довери­ тельным интервалом для 0 может быть только один непрерывный интервал с тем же самым вероятностным содержанием (не следу­ ет забывать, что интервальная оценка указывает интервал, который

свероятностью р накрывает истинное значение 0);

4)если предложенным методом получаем неопределенные (или бесконечные) доверительные интервалы, то для решаемой задачи требуется более сложная интерпретация, чем интерпретация ее как задачи нахождения единственной оценки ММП и доверительного интервала.

§7.7. Байесовский подход к оцениванию параметров моделей

Вбайесовском подходе неизвестный параметр 0 является не де­ терминированной (постоянной) величиной, а случайной величиной, для которой априори известна плотность распределения к(0) воз­ можных значений 0.

После наблюдения х получим плотность апостериорного рас­ пределения вероятностей

к(01 X) =

Байесовский доверительный интервал (0„, 0„) с вероятностным содержанием р определяется следующим образом:

0:

Величина —— подчиняется распределению Стьюдента с п — р v D(y)

степенями свободы; при заданном р квантиль распределения Стью­ дента равна £р и интервальная оценка имеет вид

Р{у - Ц у /Щ ) < т) < у + tpy/Щ ) } = Р-

В общем случае для линии регрессии, описываемой уравнением Tj(x, 0) = f{x, 0), дисперсия вычисленных значений у определяется выражением

где N — размерность вектора 0, D (0j , 0*) — корреляционный момент

ЛЛ

случайных величин 6j и 0j.

ляемых значений у в точке х согласно той же формуле может быть записана в виде

D(y) = / TCr)D(0)/(aO;

Задав серию значений х и вычислив соответствующие им значе­ ния дисперсии ст2(у ) = D (y), получим интервальную оценку линии. Для прямой линии интервальную оценку можно получить анали­ тически [40]. Интервальные границы для М(т)|£о) в случае прямой линии будут следующие:

где о2(т)) = (1, Ç0)D(9)(1, £0)т>а — уровень значимости.

Огибающая семейства всех возможных прямых будет кривой второго порядка, уравнение которой получим из формулы (7.16):

п

£(Уг - 6l - 62Жг)2 ^ С«(1 + 0i), i= 1

где Са — константа, величина которой определяется уровнем значи­ мости а.

Принимая за начало отсчета наблюдаемые средние значения х и у, перепишем это неравенство в виде [40]

02 (s x — С х ) —202Sxy + 0] ^ C'a — Sy,

где s2, Sy и sXy — соответственно выборочные дисперсии и выбо­ рочная ковариация величин х и у. Это условие можно считать огра­ ничением, которому удовлетворяет «истинная» прямая.

Найдем огибающую семейства всех возможных прямых. Урав­ нение огибающей [40] имеет вид

Для к измерений, проводимых в точке прогноза, вместо значения дисперсии о2 в формуле для D(у —у) надо взять величину а2/к. Для параметров прямой линии нетрудно получить оценки

Из формул для D(0o) и D(0i) следует, что дисперсия D(у) минималь­ на при х = х. Задавая различные значения х, можно найти интер­ вальные оценки линии регрессии (линии I и II на рис. 7.11) при заданном (3 и интервальную оценку нового наблюдения yi для про­ гнозируемой ТОЧКИ Xi.

Рис. 7.11. И нтервальная оценка линии регрессии

На рис. 7.11 точка (xj, yi) показывает нижнее значение интер­ вальной оценки прогнозируемого значения у* в точке х*.

§ 7.9. Активный и пассивный эксперименты. Оценивание параметров функции известного вида

впассивном эксперименте

Внастоящем параграфе будут рассмотрены алгоритмы, позволя­ ющие находить оценки свободных параметров элементарных функ­ ций при наличии погрешностей и в значениях аргумента, и в значе­ ниях функции. Эти алгоритмы объединены названием «конфлюэнт­ ный анализ» (англ, confluence — слияние, confluent — сливающийся). Когда и значения функции, и значения аргумента — случайные ве­ личины, процедуры оценки свободных параметров функции зависят от того, как проводился эксперимент: пассивно считывались значе­ ния аргумента и функции или значения аргумента устанавливались заранее.

Пассивный эксперимент наиболее часто встречается в процес­ сах получения оценок параметров моделей систем во многих отрас­ лях науки и техники. Здесь требуется найти интервальную оценку параметра 0 функции т) = /(£ , 0), когда точные значения т) и J; мы наблюдать не можем, однако можем наблюдать значения случайных величин у и х :

X i= li+ b i, Уг = T)f + Ei, г =1,2, ..., 71,

где 8* и Si — соответственно ошибки значений аргументов и функ­ ции (случайные величины).

В активном эксперименте мы можем задавать х любые значения

(х называется контролируемой переменной), на которые налагает­ ся помеха 5 : £ = х + 8. Значения у являются результатом влияния случайной ошибки на истинное значение т) : у = т) + е. Структур­ ное соотношение между наблюдаемыми значениями гг* и у* примет вид у = f{ x + 8, 0) + е и станет обычным уравнением регрессии, по­ скольку теперь х не случайная величина.

Рассмотрим пассивную схему эксперимента. Пусть заданы ста­ тистический ряд экспериментальных значений {ж*} с X и соответ­ ствующий им ряд значений функции {у,} с У, г = 1,2,..., п, п ^ т, где т —число оцениваемых параметров 0. Предположим, что пе­ ременные Xi и у* не детерминированы, но являются выборками из генеральных совокупностей X и Y с известными функциями

плотности распределения вероятностей. Переменные Xi = £,i + 8, и Vi = r)i + ti могут быть статистически как зависимы, так и не за­ висимы; могут быть как коррелированы, так и не коррелированы.

В основном мы будем рассматривать выборки независимых на­ блюдений, имеющих один закон распределения.

Пусть fi(x{ 10) и /г(уг 10) — соответственно функции плотности вероятностей случайных величин Х{ и yi, если ц и непрерывны, и соответственно вероятности значений х* и г/j, если распределения величин Xi и yi дискретны; функции /i(x j 10) и / 2(3/110) могут быть как одномерными, так и многомерными.

Найдем выражение для совместной плотности вероятности экс­ периментальных данных при условии, что значения ^ и г)* связаны функциональной зависимостью, но их погрешности 8* и е* явля­ ются независимыми при переходе от одной точки к другой. Тогда совместная плотность вероятности получения одновременно значе­ ний Xi и yi имеет вид

Pi = fl(Xi I 0)/2(Уг I 0).

Совместная плотность вероятности получения п статистически независимых точек (xi, yi) является функцией

П

Ц х, у|0)=П/1(®*10)/2(Уг I0).

г=1 Аналогично можно вывести формулы совместной плотности ве­

роятности для зависимых или коррелированных эксперименталь­ ных точек [40, 49, 89].

Для нас важно то, что в выражения для совместной плотности вероятности входят математические ожидания экспериментальных данных, экспериментальные значения и оцениваемые параметры, так как в / i ( x i | 0) войдут функция математического ожидания &, экспериментальные значения х г и вектор параметров 0, в / 2(3/t 10) — функция математического ожидания т)*, экспериментальные зна­ чения з/j, Xi и вектор параметров 0. Кроме того, нам известно функциональное соотношение г)* = /(£$, 0), которое порождает структурное соотношение между наблюдаемыми случайными ве­ личинами Xi И yi'.

Уг = Ф(ХЬ 0, Si, Si)