Ответы к ГОСу / 10

10. Регрессионный анализ: линейная и нелинейная регрессия, статистические свойства оценок коэффициентов регрессии.

Во многих приклад-ных з-чах треб-ся построить мат. м-ль (ур-ние), связ-щую фактор.(вход.) переем-ные Х1, …Хк и результативную(выход.) завис. перем-ую У. Предполагается У-СВ, а Х1, …Хк не СВ (в далн-шем х 1….хк). В этом случае ур-ние взаимосвязи: f (x1…xk) + (x1…xk) (1) , где f –ф-ция регрессии, - случ. перем-ая (ошибка), порожденная или дейст-ем неучтенных факторов, или случ. ошибками измерений СВ У, или и тем, и др. одновр-но.

Осн.задачи регресс. анализа (РА) :

1. устан-ие формы регресс. завис-ти f (x1…xk,) с точностью до неизв. пар-ров ().

2) нахождение оц-к неиз-х пар-ров 1…m

3) устан-ие адекват-ти получ-го ур-ия (x _1…x _{.k, 1……..m} ).

4) выявление наиболее информатив-х из вход-х перем-х Х_1,….,Х_к.

Рассм. случай одной фактор. переем-ой Х ур-ия взаимосвязи Х, У (2) , где мат. ожид. М(У/Х=х)=.

Ф-я регрессии б. полностью огр-на, ес. изв-н усл. з-н распр-ия СВ У при усл. Х=х.

В реал ситуации он никогда неизв-н. М. найти только оц-ку ф-ции рег-ии , основ-аясь на выборке, содер-щей n пар знач-ий, где согласно (2) .

Основ-ми предполож-ми РА явл-ся:

1) мат.ож. сл-х ошибок (отсут-ие сист. погреш-ти измер-ий У)

2) i≠j случ. ошибки некорелируемы

3) случ. ошибки им-т одинак. дисперсии

Разл-т парную лин. и нелин. регрессию.

Лин. регр-ей наз-ют регр-ию вида .

Нелин. регр-ии дел-ся на рег-сии:

- лин-ые по оценив-ым пар-рам, но нелин. по фактор. перем-ым

- Нелин. по оц-ым пар-рам и фактор. пар-рам

Для оц-ки парам-ров ур-ия рег-сии лин-х по парам-м испол-т МНК.

Согласно МНК в кач-ве оц-к неиз-х пар-в выбир-т такие, для кот. квадратов невязок , т.е. ф-ия

S ()= , т.е. S () принимала наимен. знач-е при . Т.е. S ()=. Рис.

- откл-ие факт-го зн-ия y_i от теорет-го , расч-х по ф-циям рег-сии . Необх-м усл-м ext ф-ции S (а вместе с тем и усл-ие сущ-ния МНК оц-к) яв-ся усл-ие част-х производных по парам-рам g=0

……… (4)

Рассм нахож-ие МНК оц-к для парной лин-й рег-сии.Ф-ция ЛР им-т вид:.

Согласно м-ду МНК (5). Необх-ые усл-я ext им-т вид: (6)

Норм-ая сис-ма МНК как след-т из (6) б. иметь вид: (7)

Реш-ие (7): (8)

где

. Тогда выбороч. ур-ие парной ЛР .

Возникает вопрос: как соотн-ся с ? Оказ-ся для лин. рег-сии при выпол-ии осн-х предпол-ий 1)-3) РА-за оц-ки , получ-мые по МНК, яв-ся несмещ-ми, состоятел-ми и эф-ми (имеющие наимен-ую дисперсию ) в классе всех лин-х несмещ-х оц-к, т.е. обладают наилуч. св-ми (согласно теор. Гаусса-Марко). Кроме того, ес. предположить, что ошибки набл-ий имеют норм з-н распр-ий ε_i ~ , то оц-ки и им-т также норм. распр-ие, что позволяет легко строить для пар-ра и доверит. интервалы и тем самым опр-ть погреш-ть оцен-ния поср-вом фор-л (8).