23. Индексы корреляции и детерминации в нелинейных регрессиях.

Индекс корреляции это R= ². 0<=R<=1. И чем ближе индекс корреляции к 1, тем лучше.

Для оценки точности нелинейных регрессий используют величину аналогичную коэф детерминации и называемую индексом детерминации.

Индекс детерминации используется для проверки значимости нелинейных уравнений регрессии с помощью критерия Фишера: F=(R²/(1- R²)) * ((n-m-1)/m), где m- число парной модели.

Сравнивается с Fкр, , k1=m, k2=n-m-1. Если F>Fкр, следовательно, уравнения статистически значимы. Пусть R² – индекс детерминации, r²_ху- коэф детерминации линейной модели. Разница м/у 0<= R² - r²_ху<=0,1, то нелинейную модель можно заменить линейной, более простой. В противном случае, т.е. R² - r²_ху>0,1 используют t-статистику t= (R² - r²_ху)/m _|R-rху|

где

Если |t|>tкр, то различия м/у показателями R² и существенны и замена нелинейной модели на линейную недопустима.

24. Классическая нормальная линейная модель множественной регрессии.

уi=β0+β1*x1+β2*x2i+…+βp*xpi+ε, i=1,n (c черточкой наверху) (1)

yi-значение зависимой переменной у в i-м наблюдении. хji-значение фактора хi в i-м наблюдении. j=1,p(с черточкой); i=1,n(с черточкой). β0-постоянное слагаемое, формально равное значению зависимой переменной у, когда все факторы=0. βi-коэф «чистой» регрессии при i-м факторе, характеризующую связь фактора хi переменной у при неизменности других факторов. На основе многомерной выборки требуется получить оценку уравнения (1) и этой оценкой явл-ся выборочное уравнение множественной регрессии. y~=b0+b1x1+b2x2+…+bpxp. (2). Параметр bj, j-0,p (с черточкой)-это точечная оценка неизвестных коэф βj. Введем в рассмотрение след-е векторы и матрицы.

Y= X= β= b= ε=

Когда модельное уравнение регрессии =1, то матрица Y запишется: Y=Xp+ε (3)

Введем понятие остатка: еi=yi -

e= x=

Тогда выборочное уравнение (2) можно записать в матричной форме: y~=b¹*x, «1»- это транспонирование. Из уравнения (2) не трудно получить следующее уравнение, кот называют эмпирическим. yi=b0+b1x1i+b2x2i+…+bpxpi+ei, которое в матричной форме запишется: Y=Xb+e, следовательно, e=Y-Xb.

Чтобы получить оценки коэф модели методом наименьших квадратов, вновь потребуем выполнение для уравнения (1) некоторых условий, которые называются предпосылками МНК:

1⁰.ε-случаный вектор, xi-не явл-ся случайным вектором (СВ).

2⁰.М(εi)=0, i=1,n(с черточкой).

3⁰.D(εi)=δ²=const+ i.

4⁰.M(εi*εj)=0, i j.

3 и 4 предпосылки: Σε= =δ²*Еn.

5⁰.εi~N(0; δ²)

6⁰.в матрице Х столбцы должны быть неизвестными rank X=p+1.

Если модель (1⁰) удовлетворяет указанным предпосылкам, то она называется классической, нормально, линейной моделью множественной регрессии.

25. МНК-оценки параметров линейной модели множественной регрессии.

уi=β0+β1*x1+β2*x2i+…+βp*xpi+ε, i=1,n (c черточкой наверху) (1)

yi-значение зависимой переменной у в i-м наблюдении. хji-значение фактора хi в i-м наблюдении. j=1,p(с черточкой); i=1,n(с черточкой). β0-постоянное слагаемое, формально равное значению зависимой переменной у, когда все факторы=0. βi-коэф «чистой» регрессии при i-м факторе, характеризующую связь фактора хi переменной у при неизменности других факторов. На основе многомерной выборки требуется получить оценку уравнения (1) и этой оценкой явл-ся выборочное уравнение множественной регрессии. y~=b0+b1x1+b2x2+…+bpxp. (2). Параметр bj, j-0,p (с черточкой)-это точечная оценка неизвестных коэф βj. Введем в рассмотрение след-е векторы и матрицы.

Y= X= β= b= ε=

Когда модельное уравнение регрессии =1, то матрица Y запишется: Y=Xp+ε (3)

Введем понятие остатка: еi=yi-y~

e= x=

Тогда выборочное уравнение (2) можно записать в матричной форме: y~=b¹*x, «1»- это транспонирование. Из уравнения (2) не трудно получить следующее уравнение, кот называют эмпирическим. yi=b0+b1x1i+b2x2i+…+bpxpi+ei, которое в матричной форме запишется: Y=Xb+e, следовательно, e=Y-Xb.

Чтобы получить оценки коэф модели методом наименьших квадратов, вновь потребуем выполнение для уравнения уi=β0+β1*x1+β2*x2i+…+βp*xpi+ε, i=1,n (c черточкой наверху) (1)

некоторых условий, которые называются предпосылками МНК:

1⁰.ε-случаный вектор, xi-не явл-ся случайным вектором (СВ).

2⁰.М(εi)=0, i=1,n(с черточкой).

3⁰.D(εi)=δ²=const+ i.

4⁰.M(εi*εj)=0, i j.

3 и 4 предпосылки: Σε= =δ²*Еn.

5⁰.εi~N(0; δ²)

6⁰.в матрице Х столбцы должны быть неизвестными rank X=p+1.

Если модель (1⁰) удовлетворяет указанным предпосылкам, то она называется классической, нормально, линейной моделью множественной регрессии.

Предпосылки выполняются: Оценки bj, j=0,p(с черточкой) будем находить методом наименьших квадратов из условия минимальной остаточной суммы, т.е. Qe= ²= ²=e`*e=(Y-Xb)`*(Y-Xb)→min.

(d*Qe)/db=-2X`Y+2X`Xb=0.

Отсюда получим нормально уравнение в матричной форме: X`Xb=X`Y.

Если предпосылка (6⁰) выполняется, то (X`X)<sup>-1</sup> существует умножая на нее слева, получаем окончательную формулу: b= (X<sup>-1</sup>X)<sup>-1</sup>*X`Y (4)

Оценка (4) называется векторной МНК-оценкой и для нее так же справедлива теорема Гаусса Маркова: при выполнении предпосылки 1⁰-6⁰ оценки (4) явл-ся эффективными и несмещенными.