Регресс: корелляц анализ

X,Y – СВ : статич данные:

X x1 x2 ….xn (xi,yi) – эмпирич точки - множ

Y y1 y2 ….yn всех т. – кореляц поле

По виду распред выбир класс ф-ий опр завис y=f(x):

y =a+bx, y=ax²+bx+c, y=a+b/x

Рассм линейн завис: y=a+bx

Ei – ошибка(отклон)=yi-ya

F=e1²+e2²=.. –сум квадр отклон

=(y1-(a+bx1))²+…=F(a,b)

«Метод наимен квадр»

Опред коэф линии y=f(x,α), α-набор коэф a,b

Основ на минимиз сум квадр отклон эмпирич т. от наилучш лин – наз лин регрессии

Необх усл min ф-ии 2x неизв: равенст 0 всех её частн произв: F=Σ(yi-(a+bxi))+2 -> min a,b

{∂F(a,b)/∂a=Σ(i=1,n)(2(yi-a-bxi)(-1))=0,

∂F(a,b)/∂b=Σ(i=1,n)(2(yi-a-bxi)(-xi))=0

{ Σ(i=1,n)(2(a-bxi-yi)=0, Σ(i=1,n)(2(axi-bxi²-yixi)=0

Во всех слаг ф F к-ты перед a² , b² положит, то ф F(a,b) в критич т буд min:

{n*a+bΣxi = Σyi, aΣxi + bΣx²i=Σxiyi}

{a+bx¯=y¯, a x¯+b x¯²=xy¯}

b x¯² – b(x¯)² =xy¯- x¯ *y¯

b= xy¯- x¯ *y / x¯² – (x¯)² , a=y¯-bx¯

Пр: x y xy x²

1 7 7 1 x¯=12/4

3 5 15 9 y¯=21/4

6 2 12 36 xy¯=48/4

2 7 14 4 x¯²=50/4

Σ 12 21 48 50 b=-1.07, a=8.46

y^=8.48-1.07x

Оц кач регрессии

Сущ идеальн y=α+βx. Получ разн лин регр y^=a1+b1x,

y^=a2+b2x… => a,b оценки к-ов α,β ур модели y=α+βx

1) Коэф корреляц:

r_xy=r(x,y)=cov(x,y)/σxσy = bσ_x/σ_y = b √Dx/Dy хар тесноту и напр линейн связи мд x и y

cov(x,y)=xy¯ - x¯y¯, b=cov(x,y)/σ²_x , -1<=r<=1

Напр связи: r(x,y)>0 : связь прям(с рост x ср знач y возр)

r(x,y)<0: обратн

Теснота связи: r(x,y)=0 (чисто теор) связь отсутств НСВ

0| r(x,y)| <0.3 практич отсут: либо нет связ, либо нелиней

0.3<| r(x,y)| <0.5 слаб лин св, 0.5<| r(x,y)| <0.7 –умеренная

0.7<| r(x,y)| <1 тесн св – эмпир т. расп близко к лин регр

r(x,y)=+-1 –Все эмпирич т. леж на лин регрес

2)Коэф детерминации

А) Дисперсиональн анализ:

D(y)=σ²_y= (y1-y¯)² +(y2-y¯)² ..+ (yn-y¯)² / n, M= y¯ , p=1/n

yi-y¯ = (yi-yi^)+( yi^ -y¯),

(y2-y¯)² =(yi-yi^)²+( yi^ -y¯)² -2 (yi-yi^)( yi^ -y¯)

Σ (y2-y¯)² =

Σ (yi-yi^)- errors (ESS)+

Σ ( yi^ -y¯) – regression (RSS)

2Σ (yi-yi^)( yi^ -y¯)=0

D(y)=σ²_y = TSS/n = ESS/n +RSS/n

TSS –общ дисп, ESS – часть дисп не обьясн регресс, RSS – обьясн регрессией

Б) Коэф детерминиз R²=1 - ESS/TSS , если много факт

R²=r_xy ² – если одна факториальн переменная.

-1<=R²<=1 (%) показ на скольк % измен результативн ~ y обуслизменен x. Оставш % - это влиян факторов, не вошед в мод. Чем ближе R² к 1, тем ближе эмпир т. к лин регресс.

Регресс при неск факторах:

y^=a+bx, y^=a0+a1x+a2x2+..akxk

завис коэф корреляц от 2 х величин: Z(xi,y)-парные

R²=1 - ESS/TSS - коэф детерминизац

Парн коэф в случайн множ регресс часто не отраж истин влиян м\д xi и результативн ~ y

Истин взаимосв отраж частн коэф коррел: r(xi,y|z) – искл влиян факторов Z=(x1,x2…xk). -1<= r(xi,y|z) <=1

3. Оц значим отдельн факторов

Провер статистич гипот-за H0 – о том что xi не значимы для Y. H0: αi=0

Для пров данн гипот рассм t-статистика = функц подчин з-ну распред Стьюдента: t= (ai-αi) / Si ,

ai – соотв коэф регресс перед xi

αi =0 – по предполож, Si – ср квадр отклон ai - стандартн ош: √D(ai)

Далее по табл распред Стьюдента наход критич знач статист: tкр = tγ(n-k), обычно γ=95% - вер с кот мы получ определ рез-тат, n-наблюд, k –кол переменных

|t|<tкр – H0 на зад уровне доверия

|t|>tкр – H0 отверг с зад вер-ю γ в пользу альтерн гипот H1: αi≠0

Знач t можно определить:

4.Доверит интерв: зад ур доверия γ : доверит интерв αi наход: |t|<tкр, |(ai – α1)/Si|<tкр , Si>0

Ai – Sitкр < αi < ai+Si tкр –довер интерв с ур довер γ

Т.е. с вер-ю γ истин знач наход в этом промеж

Чем выше ур довер – тем шире доверит интерв