книги / Математические методы принятия решений
..pdfДанная постановка является классической регрессионной задачей, которая решается методом максимума правдоподобия (ММП) или методом наименьших квадратов (МНК).
Если дисперсии наблюдаемых значений равны: о2 = ст2, г = = 1, . . . , п, и значение а2 не задано, то оценку параметра о мож но найти по формуле
IЬ ^
где S = YJ (Уг ~ f ( x i>в))2, р —число оцениваемых параметров, п — i= 1
число точек наблюдений.
При решении регрессионных задач предполагают, что пере менные х являются детерминированными, т. е. измеренными с по грешностью много меньшей, чем погрешность значений функции. На практике это требование часто не выполняется, поэтому возни кает необходимость учета погрешностей аргумента х. Если погреш ности аргумента не учитываются, то оценки искомых параметров будут смещенными. Модели, позволяющие учитывать ошибки в зна чениях функций и аргументов, исследуются в [8, 9, 16, 20-24, 30, 40, 87, 94-96, 99, 100, 102-104, 106, 108, 109].
Рассмотрим пассивный эксперимент и алгоритм определения оценок параметров функции т) = ф(£, 0), где £ — аргумент функции, 0 — неизвестный вектор параметров. В процессе измерений получа ют не значения функции Т) и аргумента Ç, а наборы значений {у*}
и {Xj}: |
|
|
|
|
Уг Т)г "Ь ^гэ |
x i |
^г 4* 8г, |
7 |
1» 7, ..., 71, |
где еi и 8j —ошибки измеренных значений функции и аргумента. Предположим, что ошибки измерений е* и \ — нормально рас пределенные случайные величины с нулевыми средними значения ми, с дисперсиями а 2(уг) и ст2(хг) соответственно и коэффициентом
корреляции рг = 0.
Рассмотрим простейший случай. Пусть £, т)— две случайные величины, которые имеют совместное распределение непрерыв ного типа с плотностью вероятности /(ж, у). В процессе наблю дений случайная величина £ принимает значения Х{, а случайная
величина т) — значения у*, г = |
1,2,..., п. Будем рассматривать £ |
как независимую переменную. |
Тогда фиксированному значению |
где /г(у) — плотность вероятности частного распределения случай ной величины т).
Значения любой числовой характеристики х у условного распре деления величины £ описывают кривую регрессии \н а г\ (рис. 7.2). Кривая регрессии для условного среднего значения \ задается уравнением
х у = М(£ | Г) = у).
Две кривые регрессии ух и х у в об щем случае не будут совпадать. Кривые регрессии выбирают таким образом, что бы они отвечали свойству минимально сти: среди множества всех функций д(Е) необходимо найти такую, которая даст
возможно лучшее представление о случайной величине т). Напри мер, если термином «возможно лучшее представление» определить минимум выражения
+ о о |
+ о о |
|
М{[т| - 5(£)]2} = J |
J [y~g(x)]2f(x ,y )d x d y = |
|
— ОО — ОО |
|
|
|
+ о о |
+ о о |
= J f\(x)dx J [у - g(x)]2f (у \x)dy, (7.1)
—ОО —ОО
то среди всех возможных значений д(Е) необходимо взять д(Е,) = ÿx. Аналогично, выражение М{[£ —/г(т))]2} достигает минимума при h(r\) = x y.
На практике наиболее часто применяется другая постановка задачи регрессии. Рассмотрим функцию д(Е,) или h(т)), принадлежа щую конкретному классу (например, классу линейных функций), и будем путем подбора значений свободных параметров этой функ ции искать такую, которая даст возможно лучшее представление величины £ или т). В общем случае это будет другая кривая ре грессии.
Наиболее простой является линейная регрессия т) = д(Е,) = = 01 + 02^. Подставим это выражение д(£) в (7.1) вместо д(х). Если
оценки параметров 0i и 02 находятся из условия (7.1), то говорят о линейной средней квадратической регрессии.
Рассмотрим различные определения возможно лучшего пред ставления зависимой переменной. Для этого используется кон цепция метода наименьших квадратов. Здесь можно отметить два подхода. Из курса линейной алгебры известно, что представле ние некоторого элемента (функции) у, принадлежащего Простран ству 1<2 (пространству функций с интегрируемым квадратом), в ви де линейной комбинации заданных элементов (функций) cpi(x) сво дится к нахождению минимума по а*, г = 1,2, ... ,п , следующего выражения:
F = |
(7.2) |
где X —множество допустимых значений х, а* — коэффициенты разложения.
Получим этот же функционал вторым способом. Пусть слу чайная величина т) имеет нормальное распределение, т. е. т)б
еоЦфгОЕ); о2)• Предположим, что дисперсия о2 известна и по-
стоянна для любого х. Рассмотрим независимые наблюдения Xj, j = 1 ,2,..., п, каждому из которых отвечает значение yj. Функция правдоподобия для этих наблюдений имеет вид
1
Цу, а) = (2к)"/2ап
ибудет максимальна, если достигается минимум по оц, i = 1, 2, выражения
\ 71 / т \ 2
F = 2 ? E |
|
(7.3) |
j = 1 ' |
2=1 |
' |
эквивалентного выражению (7.2).
Используя статистический функционал (7.3), можем не только получить оценки коэффициентов ос*, но и определить закон их рас пределения и интервальные оценки.
Заметим, что использование функции правдоподобия приводит к методу наименьших квадратов только в случае нормального за кона распределения случайной величины (зависимой переменной). Например, если случайная величина т) подчиняется закону распре деления Лапласа
то функция правдоподобия для независимых наблюдений имеет вид
j = i г
а функционал, аналогичный функционалу (7.3), — вид
(7.4)
Из анализа функционалов (7.3) и (7.4) следует, что то или иное определение «возможно лучшего представления» зависит от вида законов распределения исходных данных.
Здесь мы рассмотрели функционалы для регрессии г) на Ана логично получаются выражения для функционалов, определяющих регрессию Ç на т). Заметим, что в обоих случаях независимые пе ременные принимают фиксированные (детерминированные, неслу чайные) значения. Случайной величиной остается только значение зависимой переменной.
§ 7.2. Линейные регрессии т) на %и Ç на т)
Пусть уравнение регрессии г) на \ имеет вид
Ух — 01 ~Ь02
Получим уравнения линий регрессии в этом широко распро страненном случае. Используя определение линейной средней квад ратической регрессии, найдем оценки параметров 0i и 02 и выразим уравнение регрессии через данные наблюдений. Для этого продиф ференцируем функционал
(7.5)
В данном случае коэффициент регрессии и минимальное значе ние функционала определяются по формулам
P = Р Оу |
Фт1п = п а^ 1 “ Р2)- |
§7.3. Регрессионный парадокс
По одним и тем же исходным данным (если не учитывать стро го их погрешности) согласно уравнениям (7.6) и (7.7) мы получим различные прямые, а следовательно, и различные выводы из ре шенной задачи. Прямые регрессии совпадают только при р = ±1; при р = 0 (когда ^ и т)— независимые случайные величины) имеем соответственно уравнения
Ух = У, х у = х
двух взаимно перпендикулярных прямых.
Если х = у = 0, ох = ау = 1, то линия регрессии т) на 2; описы вается уравнением ух = рх; а линия регрессии \ на т)—уравнением
У= Ху/Р-
Вкачестве примера рассмотрим ли
нии регрессии, характеризующие зави симость роста сыновей от роста от цов. Пусть переменная £ характеризует рост отца, а переменная т)—рост сына (рис. 7.3). Уравнение регрессии т) на £ имеет вид
У х - у |
Х - Х |
|
— — |
= ? —т ~ > |
Рис. 7.3. Регрессионный |
Положим Оу — ох = 1 и перенесем на |
парадокс |
|
|
||
чало координат в точку (х, у), т. е. в уравнениях регрессии положим
х = ÿ = 0. Получим
ух = рх ^ х.
Это означает, что в среднем сыновья высоких отцов не так вы соки, как их отцы. Рост сыновей имеет тенденцию к усреднению.
Уравнение регрессии £ на т) имеет вид
Ху - Х _ у - у Ох —р Оу 9
ипри сделанных предположениях имеем х у = ру ^ у.
Для функционала (7.9) при р = О найдем точку минимума по 0:
1 п |
Ы - Z i) 2 |
СVi - r\i) 2 |
• m m . |
|
|
(7.10) |
|||
|
a2(xi) |
a2(ÿi) |
||
г= 1 |
в |
|||
|
|
|
|
Геометрически (при а(Х{) = о(у{) = 1) это означает, что миними зируется сумма квадратов расстояний между точками (х*, уг) и со ответствующими точками (£j, r)j) кривой регрессии.
Чтобы найти минимум функционала F по 0, продифференциру ем его по Qj, j = 1,2,..., т. Получим систему уравнений
|
Уг - T)i 0ГЦ |
= 0, j = 1, 2, |
(7.11) |
|
dBj |
Е a2(Vi) ôdj |
|||
|
|
|||
|
i—1 |
|
|
которую решить невозможно, поскольку не известны истинные зна чения £j, входящие в выражения для r)j, т. е. нельзя найти оценки параметров 6j.
|
Доопределим условие задачи (7.10). |
В качестве оценок ^ |
||||||||
возьмем те |
значения |
которые |
обратят |
в нуль |
частные |
произ- |
||||
|
dF |
|
|
|
|
|
|
|
|
|
водные — : |
|
|
|
|
|
|
|
|
|
|
|
dF_ |
X |
j - l j |
|
У г ~ Г ) г |
Ôr\i |
- |
|
n. |
(7.12) |
|
dti |
аНХг) |
+ |
оЧУг) |
dli |
U) |
1 , A - ’ |
|||
|
|
|
||||||||
|
Условие |
(7.12) |
при ст(х^= а{у{) = 1 является |
условием |
орто |
|||||
гональности векторов {(xj —J;*); (Уг —%)} |
|
|
|
|||||||
и |
1 1 ; ^ ' }, |
причем |
последний |
вектор |
|
|
|
|||
направлен |
по |
касательной |
к |
кривой |
|
|
|
|||
т) = /(£ , 0) или вдоль прямой при линей |
|
|
|
|||||||
ной регрессии (рис. 7.5). Условия (7.11), |
|
|
|
|||||||
(7.12) определяют третью линию регрес |
|
|
|
|||||||
сии — ортогональную, |
не совпадающую |
|
|
|
||||||
ни с кривой регрессии г) на Ç ни с кри |
|
|
|
|||||||
вой регрессии |
\ на т), но одновременно |
|
|
|
||||||
учитывают случайный характер и Ç, и т). |
Рис 7 5 наблюдаемые |
|||||||||
|
Приведенные результаты |
справедли- |
и оцениваемые координа- |
|||||||
вы |
для пассивного |
эксперимента, когда |
ты переменных |
|||||||
используются текущие значения ж, и соответствующие им значе ния уг. К результатам активного эксперимента, когда заранее уста навливаются значения ж*, в общем случае выводы пассивного экс перимента не применимы.
§ 7.5. Метод наименьших квадратов. Оценка свободных параметров функций, линейных по параметрам
Примером функций, линейных по параметрам 0, могут быть функции
кк
т)= 2 9^ г> |
0 = 2 |
г=0 |
г=0 |
и т.д. Их часто используют для описания разделяющих функций, для приближенного описания законов распределения и т. п.
Здесь независимая переменная ж измеряется без ошибок (де терминирована), т. е. рассматривается регрессия у на х. Результаты наблюдений случайной величины т) дают значения у, соответствую щие значениям х. Каждому значению х * может отвечать либо един ственное значение гл, либо множество значений уц, уг2, ..., Vim-
Предположим, что каждое наблюдение yi содержит ошибку е*. Пусть n -мерный вектор наблюдений (вектор откликов) у =
= (Уь У2, ■■■, УпУ порождается моделью
У —XQ + Е,
где X — известная (п х р)-матрица измерений (матрица плана), по строенная либо по значениям вектора х, либо по значениям функ ций /г(ж), г = 1, 2, . . . , к; 0 = (6i, 02, — >0Р)Т — неизвестный р-мер- ный вектор параметров; е —n -мерный случайный вектор ошибок, удовлетворяющий условиям М(е) = 0, D(e) = М(ете) = а21. Здесь а — неизвестный скалярный параметр, I — единичная матрица. Ли нейные модели наблюдений могут быть полного и неполного ранга. Если ранг матрицы измерений, rank X , равен р, то модель наблю дений называется моделью полного ранга, если rank X < р, то — моделью неполного ранга. Другими словами, если число точек на блюдений меньше числа искомых параметров 0, то имеет место модель наблюдений неполного ранга. В этом случае некоторые