9. Парная регрессия. Описание метода наименьших квадратов.

Метод наименьших квадратов строит оценки регрессии на основе ми-

нимизации суммы квадратов остатков. Поэтому очень важно исследовать по-

ведение остаточных величин регрессии Ei. Условия, необходимые для полу-

чения несмещенных, состоятельных и эффективных оценок, представляют

собой предпосылки МНК, соблюдение которых желательно для получения

достоверных результатов регрессии. При выполнении этих условий оценки,

полученные по МНК, обладают наименьшей дисперсией в классе линейных

несмещенных оценок , то есть являются BLUE-оценками

МНК- используется для оценивания параметров линейной регрессии.

График

Линия y= альфа + бета X

Теоретическое yi= альфа + бета Xi +Ei

альфа, бета – неизвестны, оцениваются с погрешностью.

xi, yi

Ei – не регистрируемое

альфа-а

бета-b

Согласно принципу метода наименьших квадратов, оценки a и b находятся путем минимизации суммы квадратов

Параметр b называется коэффициентом регрессии. Его величина пока-

зывает среднее изменение результата с изменением фактора на одну единицу.

Параметр a может не иметь экономической интерпретации. Формально a - это значение результата y при x = 0 .

График

Линия yi^=a+bx

Ei= yi+yi^ -остаток

a=yсред-b(xсред)

b=xyсред-xсред*yсред / x^2сред – xсред^2

10. Вывод формул для оценок параметров парной линейной регрессии.

Еi = y – y(расчет )

Сумма ei^2  min (экстремум находится дифференцированием)

Q(a,b) = сумма ei^2=сумма(yi-yi^)^2=сумма(yi-a-bxi)^2  min

dQ(a,b) / da = 0

dQ(a,b) / db = 0

a 2сумма(yi-a-bxi)(-1)=0

b 2сумма(yi-a-bxi)(-xi)=0

сумма (a) + bсумма(xi) = сумма(yi)

a сумма(xi) + b сумма(xi^2) = сумма(xi*yi)

Система a+b (xсред)=yсред

a(xiсред)+b(x^2сред)=xyсред

a=yсред-b(xсред)

b=xyсред-xсред*yсред / x^2сред – xсред^2

Вывод оценок: Сумм(ei)^2->min-Cумм(y-y^)^2->min бCумм/бa бCумм/бb

11. Дисперсионный анализ. Оценка значимости уравнения регрессии.

Дисперсионный анализ в математике, статистический метод выявления влияния отдельных факторов на результат эксперимента. Первоначально Д. а. был предложен английским статистиком Р. Фишером (1925) для обработки результатов агрономических опытов по выявлению условий, при которых испытываемый сорт с.-х. культуры даёт максимальный урожай. 

Оценка значимости уравнения регрессии в целом производится на основе F - критерия Фишера. F - критерий

Фишера - это отношение двух выборочных дисперсии, приведенных к сравнимому виду.

График

Линия-y^=a+bx

Для расчета F - критерия Фишера общая сумма квадратов отклонений

переменной y от среднего значения y раскладывается на две части:

yi-yсред=(yi-yi^)+(yi^-yсред)

Сумма(yi-yсред)^2=Сумма(yi-yi^)^2+Сумма(yi^-yсред)^2

-2сумма(yi-yi^)(yi^-yсред)=0

Сумм(полн)=Сумм(ост)+Сумм(факт)

n-1=n-k+k-1

S^2ост=Сумма(ei)^2 / n-k = Сумма(yi-yi^) / n-k = Se^2

S^2фак=Сумма(yi^-yсред):2 / k-1

H0- не значимое

фак < ост

H1- значимое

фак > ост

F=S^2фак/S^2ост = сумма(y^-yсред)^2 / сумма(y-y^)^2=n-k / k-1=k2 / k1

сумма(y^-yсред)^2=R^2 сумма(y-yсред)^2

сумма(y-y^)^2=(1-R^2)сумма(y-yсред)^2

Fкр=(альфа,к1,к2)

F> Fкр=H1

F< Fкр=H0