Оценка параметров уравнения регрессии

Для прогнозирования с помощью уравнения регрессии необходимо вычислить коэффициенты иуравнения регрессии. И здесь существует еще одна проблема сказывающаяся на точности прогнозирования. Она заключается в том, что обычно нет всех возможных значений переменных Х и У, т.е. генеральная совокупность совместного распределения в задачах прогнозирования не известна, известна только выборка из этой генеральной совокупности. В результате этого при прогнозировании помимо случайной составляющей возникает еще один источник ошибок – ошибки, вызванные не полным соответствием выборки генеральной совокупности и порождаемыми этим погрешностями в определении коэффициентов уравнения регрессии.

Иными словами вследствие того, что генеральная совокупность не известна, точные значения коэффициентов иуравнения регрессии определить не возможно. Используя выборку из этой неизвестной генеральной совокупности можно лишь получить оценкииистинных коэффициентови.

Для того чтобы ошибки прогнозирования в результате такой замены были минимальными, оценку необходимо осуществлять методом который гарантирует несмещенность и эффективность полученных значений. Метод обеспечивает несмещенные оценки, если при неоднократном его повторении с новыми выборками из одной и той же генеральной совокупности обеспечивается выполнение условияи . Метод обеспечиваетэффективные оценки, если при неоднократном его повторении с новыми выборками из одной и той же генеральной совокупности обеспечивается минимальная дисперсия коэффициентовaиb, т.е. выполняются условияи.

В теории вероятности доказана теорема согласно которой эффективность и несмещенность оценок коэффициентов уравнения линейной регрессии по данным выборки обеспечивается при применении метода наименьших квадратов.

Суть метода наименьших квадратовзаключается в следующем. Для каждой източек выборки записываются уравнение вида. Затем находятся ошибкамежду расчетным и фактическим значениями . Решение оптимизационной задачи по нахождению таких значенийикоторые обеспечивают минимальную сумму квадратов ошибок для всехnточек, т.е. решение задачи поиска, дает несмещенные и эффективные оценки коэффициентови. Для случая парной линейной регрессии это решение имеет вид:

Следует отметить, что полученные таким образом по выборке несмещенные и эффективные оценки истинных значений коэффициентов регрессии для генеральной совокупности вовсе не гарантируют от ошибки при однократном применении. Гарантия заключается в том, что, в итоге многократного повторения этой операции с другими выборками из той же генеральной совокупности, гарантирована меньшая сумма ошибок по сравнению любым другим способом и разброс этих ошибок будет минимален.

Полученные коэффициенты уравнения регрессииопределяют положение регрессионной прямой, она является главной осью облака образованного точками исходной выборки. Оба коэффициента имеют вполне определенный смысл. Коэффициентпоказывает значениепри, но в многих случаях не имеет смысла, кроме того частотакже не имеет смысла, по этому приведенной трактовкой коэффициентанужно пользоваться осторожно. Более универсальная трактовка смыслазаключается в следующем. Если, то относительное изменение независимой переменной (изменение в процентах) всегда меньше чем относительное изменение зависимой переменной.

Коэффициент показывает насколько единиц изменится зависимая переменная при изменении независимой переменной на одну единицу. Коэффициентчасто называют коэффициентом регрессии подчеркивая этим, что он важнее чем. В частности, если вместо значений зависимой и независимой переменных взять их отклонения от своих средних значений, то уравнение регрессии преобразуется к виду. Иными словами в системе преобразованных координат любая линия регрессии проходит через начало координат (рис 13) и коэффициентотсутствует.

Рис 13. Положение регрессионной зависимости в системе преобразованных координат.

Параметры уравнения регрессии говорят нам о том, как связаны между собой зависимая и независимая переменная, но ничего не говорят о степени тесноты связи, т.е. показывают положение главной оси облака данных, но не ничего не говорит о степени тесноты связи (насколько узко или широко облако).

О степени тесноты связи можно судить по линейному коэффициенту корреляции:

Коэффициент корреляции меняется в пределах от –1 до +1. Чем он ближе по абсолютному значению к единице, тем сильнее зависимость (тем сильнее облако данных прижато к своей главной оси). Если то наклон линии регрессии отрицателен, чем ближе он к 0 тем слабее связь, прилинейной связи между переменными нет, а присвязь переменных является функциональной. Влияние коэффициента корреляции на форму и положения облака данных проиллюстрировано на рис 14.

Рис 14. Влияние формы и положения облака данных на парный линейный коэффициент корреляции.

Коэффициент корреляции позволяет получить оценку точности уравнения регрессии - коэффициент детерминации . Для парной линейной регрессии он равен квадрату коэффициента корреляции, для многомерной или нелинейной регрессии его определение сложнее. Коэффициент детерминациипоказывает, сколько процентов дисперсии зависимой переменной объясняется уравнением регрессии, а- сколько процентов дисперсии осталась необъясненной (зависит от неконтролируемого нами случайного члена).