3. Часть II

3.1 Теоретические сведения

Регрессионный анализ. Метод наименьших квадратов.

Классическая линейная модель регрессионного анализа

Линейная модель связывает значения зависимой переменной y(x) со значениями независимых показателей Xk (факторов) формулой:

y(x)=B₀+B₁X¹+:+B_pX^p+e

где e - случайная ошибка. Здесь X^k означает не "икс в степени k", а переменная X с индексом k. Величина e называется ошибкой регрессии. Первые математические результаты, связанные с регрессионным анализом, сделаны в предположении, что регрессионная ошибка распределена нормально с параметрами N(0,1),ошибка для различных объектов считаются независимыми. Кроме того, в данной модели мы рассматриваем переменные X как неслучайные значения, Такое, на практике, получается, когда идет активный эксперимент, в котором задают значения X (например, назначили зарплату работнику), а затем измеряют y(x) (оценили, какой стала производительность труда). За это иногда зависимую переменную называют откликом. Теория регрессионных уравнений со случайными независимыми переменными сложнее, но известно, что, при большом числе наблюдений, использование метода разработанного для неслучайных X корректно.

Для получения оценок коэффициентов регрессии минимизируется сумма квадратов ошибок регрессии:

Решение задачи сводится к решению системы линейных уравнений относительно .

На основании оценок регрессионных коэффициентов рассчитываются значения Y:

О качестве полученного уравнения регрессии можно судить, исследовав - оценки случайных ошибок уравнения.

Так как мы ищем оценки , используя случайные данные, то они, в свою очередь, будут представлять случайные величины. 

Запишем систему линейных уравнений в матричном виде

Искомые параметры будут находиться по формуле:

Оценка дисперсии случайной ошибки получается по формуле

,

где m - число параметров тренда

N – объём выборки

ВеличинаSназывается стандартной ошибкой регрессии. Чем меньше величинаS, тем лучше уравнение регрессии описывает независимую переменнуюY.

Доверительный интервал для каждого из коэффициентов тренда имеет вид:

Где - точечная оценка параметра

S – дисперсия для ошибок наблюдения

- квантиль уровня от (N-m) для распределения Стьюдента

3.2 Расчеты

Дан истинный тренд функции с параметрами, и смесь сигнал+шум:

где

Находим коэффициенты полинома по МНК:

График найденной функции и тренда:

Найденные коэффициенты

Найдем доверительный интервал для заданных коэффициентов полинома:

Квантили распределения Стьюдента, найденные в таблице:

График разности тренда от найденной функции:

Максимальное отклонение от тренда:

3.3 Вывод

С помощью регрессионного анализа (метода МНК) был выделен тренд в рамках модели кубической параболы, т.е. оценены значения коэффициентов модели и рассчитаны доверительные интервалы для них. График эмпирического тренда, найденный с помощью регрессионного анализа, несколько отличается от истинного тренда. Выявлены зоны, где отклонения эмпирического тренда от теоретического наибольшие.