16) Статистические свойства оценок параметров парной регрессионной модели

Исходя из теоремы Гаусса-Маркова, МНК-оценки параметров парной регрессии

обладают следующими свойствами:

• Линейность – то есть она является линейным функционалом

• Нормальность – то есть её распределение нормально

• Несмещенность – то есть её математическое ожидание равно значению параметра

• Состоятельность – то есть она сходится по вероятности к истинному значению параметра

• Эффективность – то есть мера эффективности одной оценки не больше для любой другой оценки из того же класса

12. Ожидаемое значение случайной переменной, её дисперсия и среднее квадратическое отклонение.

Под случайной величиной понимается переменная, которая в результате испытания в зависимости от случая принимает одно из возможного множества своих значений.

Более строго случайная величина определяется как функция, заданная на множестве элементарных исходов:

Пусть (Ω, F, P(*)) – вероятностное пространство. [Ω – пространство элементарных событий, F – совокупность всех событий – сигма алгебры, * - аргумент].

Случайной величиной Х называется однозначная действительная функция Х=Х(ω), определенная на Ω и такая, что множества (Х<x) = (ω: X(ω)<x) являются событиями, т.е. є F.

Для дискретной случайной величины множество возможных значений случайной величины конечно или счетно.

Математическим ожиданием (средним значением) М(Х) дискретной случайной величины X называется сумма произведений всех ее значений {x_k} на соответствующие им вероятности p_k.

M(X)=

Дисперсией D(X) случайной величины Х называется мат ожидание квадрата отклонения случайной величины от ее мат ожидания или разность мат ожидания квадрата случайной величины и квадрата мат ожидания случайной величины:

D(X)= E[(X-E(X))²] = E(X²) – E²(X).

Дисперсия – это средний квадрат разброса возможных значений случайной переменной х относительно её ожидаемого значения.

Средним квадратическим отклонением  случайной величины Х называется арифметическое значение корня квадратного из ее дисперсии:

σ(X) =

13. Оценка параметров парной регрессионной модели методом наименьших квадратов. К.76 + система нормальных уравнений (было в лекции), презентация Парная регрессия

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида:

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров β0 и β1, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) ỹ минимальна:

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0 и β1, потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции двух переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (2):

.

Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и привести подобные члены, то получим систему нормальных уравнений для функции регрессии вида yi=β0+β1xi:

Если решить данную систему нормальных уравнений, то мы получим искомые оценки неизвестных коэффициентов модели регрессии β0 и β1:

где

– среднее значение зависимой переменной;

– среднее значение независимой переменной;

– среднее арифметическое значение произведения зависимой и независимой переменных;

– дисперсия независимой переменной;

Gcov (x, y) – ковариация между зависимой и независимой переменными.

Таким образом, явный вид решения системы нормальных уравнений может быть записан следующим образом:

Статистические свойства о -енок

-Свойство несмещенности состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

-Свойство состоятельности состоит в том, что с увеличением наблюдений дисперсия оценки параметра стремится к нулю, т.е. оценка становится более надежной в вероятностном смысле (значения оценки более плотно концентрируются около истинного значения).

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.