3.1 Метод наименьших квадратов

Обычно для получения уравнения выборочной линии регрессии рассматривается функция

или

используется метод наименьших квадратов.

Рассмотрим линейную регрессию, уравнение которой

.

Неизвестные параметры и выбираются таким образом, чтобы

Методом наименьших квадратов находим значения коэффициентов и

.

Угловой коэффициент можно представить как

где - выборочный коэффициент корреляции,

, .

- выборочный коэффициент регрессии на .

Выборочный коэффициент регрессии показывает, на сколько в среднем изменяется переменная при увеличении переменной на одну единицу.

3.2 Линейный регрессионный анализ

Термином линейный регрессионный анализ обозначают прогнозирование одной переменной на основании другой, когда между этими переменными существует линейная взаимосвязь

.

Разности между фактически полученными значениями _{и вычисленными по уравнению регрессии соответствующими значениями прогнозов} называются отклонениями . Величины прогноза являются моделируемыми значениями данных, а отклонения показывают отличия от модели.

• Пример Анализ зависимости между ценами и объемам продаж молока фермера. Значение выборочного коэффициента корреляции .

Уравнение регрессии

Задачами регрессионного анализа являются:

• установление формы зависимости между переменными;

• оценка функции регрессии;

• оценка неизвестных значений (прогноз значений) зависимой переменной.

В регрессионном анализе рассматривается односторонняя зависимость случайной зависимой переменной _{от одной (или нескольких) независимой переменной .}

• _{также называется функцией отклика, выходной, результирующей, эндогенной переменной; - входной, объясняющей, предсказывающей, предикторной, экзогенной переменной, фактором, регрессором.}

_{Линейная зависимость может быть представлена в виде модельного уравнения регрессии}

.

В силу воздействия неучтенных случайных факторов отдельные наблюдения будут в большей или меньшей степени отклоняться от функции регрессии

.

В этом случае уравнение взаимосвязи двух переменных (парная регрессионная модель) может быть представлено в виде .

Отклонения (возмущения, остатки) предполагаются независимыми и нормально распределенными . Неизвестными параметрами являются , и .

Оценкой модели по выборке является уравнение регрессии .

Параметры этого уравнения и определяются по методу наименьших квадратов. Воздействие случайных факторов и ошибок наблюдений определяется с помощью остаточной дисперсии .

Оценкой дисперсии является выборочная остаточная дисперсия :

,

где - значение _{, найденное по уравнению регрессии;} - выборочная оценка возмущения . Число степеней свободы , т.к. две степени свободы теряются при определении двух параметров и .

3.3 Оценка модели регрессии

Величина называется стандартной ошибкой оценки и демонстрирует величину отклонения точек исходных данных от прямой регрессии.

Поскольку, как правило, требуется, чтобы прогноз был как можно более точным, значение должно быть как можно меньшим.

• Пример Для данных продажи молока . Для величины _{, принимающей значения от 3 до18, значение} довольно велико.

Чтобы получить точечный прогноз, или предсказание для данного значения _{, надо просто вычислить значение функции регрессии в точке .}

• Пример Фермер хочет получить прогноз количества молока, которое будет продано при цене 1.63 рублей за литр:

Конечно, реальные значения величины _{не лежат в точности на регрессионной прямой. Есть два источника неопределенности в точечном прогнозе, использующем уравнение регрессии.}

1. Неопределенность, обусловленная отклонением точек данных от выборочной прямой регрессии.

2. Неопределенность, обусловленная отклонением выборочной прямой регрессии от регрессионной прямой генеральной совокупности.

Интервальный прогноз значений переменной можно построить так, что при этом будут учтены оба источника неопределенности.

_{Суммарная дисперсия}

,

где - стандартная ошибка прогноза, - стандартная ошибка оценки, - стандартная ошибка функции регрессии.

Величина измеряет отклонение выборочной прямой регрессии от регрессионной прямой генеральной совокупности и вычисляется для каждого значения как.

.

зависит от значения _{, для которого прогнозируется величина . Величина} будет минимальна, когда , а по мере удаления от , будет возрастать.

Стандартная ошибка прогноза

Границы интервала прогноза величины с надежностью будут равны , где статистика имеет распределение Стьюдента с степенями свободы.

Госсет Уильям Сит (псевд. Стьюдент)(1876-1937)- английский математик и химик. Труды по теории вероятностей и математической статистике.

• Пример Найдем стандартную ошибку прогноза в точке _{с надежностью} .

Ранее было получено , , .

.

При значение _.

Находим интервал прогноза или

Построенные аналогичным образом интервалы значений прогноза по всем значениям имеют вид:

Интервал прогноза очень велик, это связано с тем, что исходная выборка мала, а значение сравнительно велико.

Прогноз значений зависимой переменной по уравнению регрессии оправдан, если значение объясняющей переменной не выходит за диапазон ее значений по выборке (причем тем более точный, чем ближе к ).

Экстраполяция кривой регрессии, т.е. использование вне пределов обследованного диапазона значений объясняющей переменной может привести к значительным погрешностям.

Интервал прогноза очень велик, это связано с тем, что исходная выборка мала, а значение сравнительно велико.