книги / Математические методы принятия решений

должно выполняться условие

j =\ i—1

ИЛИ

*2 > (1 - 7г)®2(1')-

Теорема доказана.

В рассматриваемом случае дисперсии значений у* известны и могут быть использованы для проверки достаточного условия.

Можно сформулировать и более строгие условия, когда зна-

время точка минимума функционала Фр будет принадлежать строго выпуклой области функционала (7.26). Для этого следует прове­ рить любое достаточное условие строгой выпуклости функциона­ ла (7.26) в точке минимума регрессионного функционала.

Условия строгой выпуклости функционала F, а тем самым и единственность его точки минимума [42, 46] устанавливаем согласно теоремам [46], по которым достаточным условием строгой выпуклости функционала F является положительная определен-

d2F

ность матрицы М = ао , а для того чтобы матрица М была

7\у[ U Vf*

положительно определена, необходимо и достаточно, чтобы каж­ дый из определителей

был положителен.

Сформулируем достаточные условия того, что регрессионное решение принадлежит области строгой выпуклости функциона­ ла (7.26) в случае оценки свободных параметров прямой линии.

Теорема 2. Достаточным условием того, что регрессионное решение при оценке параметров уравнения прямой линии r)= 9o + 9i£ принадлежит строго выпуклой области функционала (7.26), явля­ ется выполнение неравенства

Правая часть последнего условия имеет максимум при 0j = 0 , т. е. для любого 0i условие того, что регрессионное решение при­ надлежит области выпуклости функционала (7.26), имеет вид

Теорема доказана.

Условия, обеспечивающие попадание регрессионного решения

ввыпуклую область функционала (7.10), для других функций не­ сложно проверить на компьютере, но достаточно сложно выразить

вявном виде. Методом статистических испытаний было показа­ но, что при оценке параметров нормального закона распределения (от одномерного до пятимерного) без применения каких-либо пре­ образований координат итерационный процесс сходился, если ну­ левое приближение отличалось от истинного значения не более чем

где Sç—дисперсия ненаблюдаемой величины Ç. Теперь из квадрат­

ного уравнения сЩ + (d — w)B\ — с —0 имеем

Отсюда следует, что оценка 0ц, соответствующая точке мини­ мума функционала (7.26), состоятельная. Докажем теперь состоя­

—в 1Ç = 0о — оценка состоятельная.

Если в качестве ti берут значения х*, то оценка 0, не будет состоятельной. Рассмотрим случай, когда 0о = 0. Тогда

п

значит, при п —►оо находим, что оценка

несостоятельна.

Следствие 1. Если оценки параметров В из уравнения Г) = 0о +

т

+ 2 0j£ j находятся как координаты точки минимума функциона-

J=1

ла (7.10) и оценки Ç находятся из условия (7.12), то полученные оценки В будут состоятельными.

Следствие 2. В условиях теоремы 4 нулевое приближение мо­ жет отличаться до 100% от истинного значения оценок искомых параметров.

Действительно, согласно теореме 4 разность оценок парамет­ ра 01 составляет

011 - 0 1 2 = 0 1 + (Г > 01-

01

Учитывая свойства функционала F и получающихся оценок, задачу минимизации функционала F при условии (7.12) решают по следующей схеме.

Шаг 1. Задают начальные значения переменных \ (результаты наблюдений х ) и определяют минимум по 0 функционала F при фиксированных 2;. В результате получают первое приближение для оценок искомых параметров 6.

Шаг 2. Точные значения переменных пересчитывают с уче­ том ограничения (7.12) при полученных приближениях для оценок параметров 6. Для уменьшения числа итераций полезно проверить условие принадлежности нового значения Çÿ области возможных значений при заданном хц.

Шаг 3. Минимизируют функционал F по 0 при новых точных значениях переменных £.

Шаги 2 и 3 выполняют поочередно до тех пор, пока не будет выполнено хотя бы одно из трех условий:

1) на очередном шаге значение функционала (7.10) меньше за­ данного числа si;

2) на соседних итерациях значения функционала F и оценок параметров 0 отличаются несущественно, т. е.

где 8] и 82 —заданные числа;

3)исчерпан заданный лимит итераций.

Шаг 4. После нахождения точечных оценок 0 определяют дис­ персии оценок.

Из приведенного алгоритма следует, что на первой итерации получается регрессионное решение (иными словами, решение, по­ лученное любым из применявшихся ранее традиционных методов). На последующих шагах это решение уточняется. Такой переход от традиционных методов к предлагаемому важен в практических приложениях.

§ 7.12. Оценка параметров многомерной линейной модели

Линейные модели широко применяются в статистических за­ дачах принятия решений, например при нахождении разделяющих поверхностей в задачах распознавания образов.

Рассмотрим применение описанного метода к решению задачи определения оценок параметров линейной модели

ч = /&е) = 2 е&

г=1

и к решению систем линейных алгебраических уравнений с по­ грешностями в матрице системы и в правой части уравнений, если ошибки измерений —независимые нормально распределенные слу­ чайные величины с нулевыми средними значениями и известными дисперсиями а2(х ф и o2(yj).

Вэтом случае функционал (7.10) будет иметь вид

лт ( п

(7.27)

j = 1 V = i

а ограничение Üû е D* можно записать следующим образом:

Здесь для упрощения вида функционала (7.27) ошибки измере­ ний считаются статистически независимыми.

Задача минимизации по 6 функционала (7.27) при фиксирован­ ных значениях £ является обычной задачей регрессионного анализа. Исследования показали, что для обеспечения минимального време­ ни счета и большей точности лучше всего на первом шаге решать систему линейных уравнений при ^ = х ^ методом Гаусса с выбо­ ром максимального элемента, а затем непосредственно минимизи­ ровать по 0 функционал (7.27) методом сопряженных градиентов. Учитывая вид функционала (7.27), задачу минимизации по 0 легко свести к задаче поиска минимума квадратичной формы

G(0) = у вТАв + ат0,

которая и решалась методом сопряженных градиентов. Здесь 0 — вектор искомых оценок параметров; А —матрица квадратичной формы, элементы которой вычисляются по формуле

т

хг:7 — значение r -й переменной, полученное в j -м измерении; ат — вектор, компоненты которого имеют вид

Пересчет точных значений Ç на основании условий (7.21) сво­ дится к решению т несвязанных между собой систем из п линей­ ных уравнений вида

ные границы, заменяют на значение ближайшей граничной точки.

сравнению с предыдущим шагом итерационного процесса. Это приводит к снижению скорости сходимости процесса и даже к воз­ никновению колебаний. Для устранений таких нежелательных по­

по сравнению с предыдущей итерацией, заменяются значениями £, полученными на предыдущем шаге.

Применение описанного метода позволило в большинстве слу­ чаев значительно увеличить скорость сходимости процесса (больше

чем в 3 раза). Когда же первоначальный процесс не сходился (воз­ никали колебания), решение достигалось за 12-17 итераций. Эле­ менты дисперсионной матрицы ошибок (матрицы рассеяния) для оценок искомых параметров подсчитываются как элементы матри­ цы, обратной матрице N с элементами

d2F

Щ = dQidOj 0 = 0

где 0 —полученная оценка параметров 0.

Описанную выше задачу можно интерпретировать как задачу решения переопределенной системы т) = £0 из т линейных уравне­ ний с п переменными, т > п , когда вместо значений т) и £ имеем со­ ответственно столбец у = (у\ , ... , утУ значений функции, (п х т)- матрицу X , элементы которой хц суть значения г-й переменной в j - м измерении, столбец 0 = (0ь . . . , 0П)Т неизвестных (искомых) параметров.

§ 7.13. Оценка параметров полиномиальной зависимости

Полиномом можно приближенно описать любую функцию. Рассмотрим задачу оценки параметров полинома. Требуется

определить оценку 0 коэффициентов полинома степени т

771

' i = 2 > 5‘

г=0

по известным значениям аргумента и функции, содержащим по­ грешности измерений.

Пусть исходные данные имеют вид

Vi = r\i + ti, Xi = li + bi, г = 1, 2, ... ,п .

Предположим, что ошибки измерений е и 8 — нормально распре­ деленные случайные величины с нулевыми средними значениями, известными дисперсиями (соответственно o2(xi) и а2(уг)) и извест­ ными коэффициентами корреляции рг между измеренными значе­ ниями Х{ и yi. Тогда искомые оценки коэффициентов 0 получают