Статистики ta , tb , v применяются для построения доверительных интервалов для параметров a , b , σ 2 соответственно и для проверки гипотез относительно этих параметров, например гипотезы { H 0 : a = a0 ; H1 : a ≠ a0 } .

10.2 Регрессионный анализ для многих переменных (множественная нелинейная регрессия)

10.2.1 Постановка задачи

Рассмотрим некоторый исследуемый объект в виде черного ящика с векторным входом и скалярным выходом. Будем считать, что выходная переменная объекта η зависит от входной векторной переменной X =( x1 , x2 ,..., xq ) таким

образом, что условная плотность вероятности величины η нормальная,

f (η / X ) = N(ϕ( X ),σ 2 ) ,

где

y =ϕ( X )

54

– условное математическое ожидание (функция регрессии η на X ), σ 2 – ус-

ловная дисперсия. Эту зависимость можно представить в виде

η =ϕ( X ) +ξ ,

где случайная величина ξ имеет нормальное распределение с нулевым матема-

тическим ожиданием и дисперсией σ 2 : ξ N( 0,σ 2 ).

Пусть для некоторых значений X1,..., X n входной векторной переменной X

получены значения yo,1 ,..., yo,n выходной случайной переменной η,

yo,i =ϕ( X i ) + zi , i =1,n ,

дисперсии σ 2 . Понятно, что построенная модель будет отличаться от действительной, однако это отличие должно быть несущественным (незначимым).

Обычно для аппроксимации (подбора) функции регрессии используют класс функций, линейных по параметрам, то есть представимых в виде

раметры, θ = (θ1,...,θm ) – вектор неизвестных параметров функции регрессии

ϕ( X ,θ ) . Функция (10.1) называется гипотетической функцией регрессии.

(Функцию регрессии, полученную по результатам экспериментов, называют

эмпирической).

Гипотетическую функцию регрессии (10.1) можно записать в векторно-

55

где H T =( h j ( X ) ), j =1,m , – вектор-строка функций от X , θ T =(θ j ), j =1, m , – вектор-строка параметров, m – число неизвестных параметров. От-

метим, что функция, линейная по параметрам, может быть как линейной, так и нелинейной по своим аргументам X =( x1 , x2 ,..., xq ). Например, желая получить линейную по входной скалярной переменной x функцию регрессии, мы должны выбрать

H T =(1, x ) , θ T =(α,β ) .

Тогда

y=ϕ( x,α,β ) =(1, x ) α =α + βx .

β

Желая получить функцию регрессии скалярной переменной x в виде полинома второй степени y =α + βx1 + γx2 +τ x12 , необходимо выбрать

H T =(1, x1 , x2 , x12 ) , θ T =(α,β,γ ,τ ) .

Из приведенных примеров легко заметить, что в любой линейной по параметрам модели, содержащей свободный член θ1, функция h1 ( X ) должна быть рав-

ной единице.

Часто выбирают модель, линейную как по параметрам, так и по входным переменным. В этом случае

j=1

Если такая модель должна содержать свободный член, то необходимо выбрать x1 =1.

56

10.2.2Оценки параметров функции регрессии

Всоответствии с гипотетической моделью (10.1) (или (10.2)) мы имеем следующий набор данных

Для нахождения оценок воспользуемся методом максимума правдоподобия. Функция правдоподобия для выборки (10.3) при распределении (10.4) имеет вид:

Необходимые условия максимума функции ln L(θ ,σ 2 ) состоят в следующем:

∂∂θ ln L(θ ,σ 2 ) = 0 ,

∂σ∂2 ln L(θ ,σ 2 ) = 0 .

57

Перепишем выражение для ln L(θ ,σ 2 ), отбросив слагаемое, не зависящее от

параметров:

i=1

которые называются нормальными уравнениями. Первое из этих уравнений можно переписать в виде

Будем считать векторы H1 ,..., H n линейно независимыми, что обеспечивает не-

n

вырожденность матрицы ∑H i H iT и существование обратной матрицы

i=1

n

( ∑H i H iT )−1. Умножим обе части последнего уравнения слева на матрицу

i=1

n

(∑Hi HiT )−1 , в результате чего получим следующую оценку вектора-столбца

i=1

параметров θ :

С учетом этой оценки из второго нормального уравнения (10.6) получаем оцен-

ку дисперсии σ 2 :

58

где H T = H T ( X ) , а оценка ординаты yi = HiT θ гипотетической функции рег-

рессии в точке наблюдения X i – формулой

y)i = H iT θ ,

где H iT = H T ( X i ) . Выражение (10.9) представляет собой построенную эмпи-

рическую функцию регрессии.

Чаще полученные оценки записывают в другой форме. Рассматривают весь набор данных эксперимента

yo,1 = H1T θ + z1 = h1( X1 )θ1 + h2 ( X1 )θ2 + ... + hm ( X1 )θm + z1 ,

59