- •Регрессионный анализ
- •Основные виды уравнений парной регрессии и методы определения их параметров
- •Алгоритм применения мнк
- •Линейная зависимость
- •Гиперболическая зависимость
- •Степенная зависимость
- •Логарифмическая зависимость
- •Параболическая зависимость
- •Тригонометрическая зависимость
- •Корреляционное отношение всегда положительно 0 1.
- •Оценка значимости коэффициента корреляции и коэффициентов уравнений регрессии. Оценка значимости коэффициента корреляции
- •Оценка значимости коэффициента детерминации (значимость уравнения регрессии в целом)
- •Автокорреляция остатков. Критерий Дарбина – Уотсона
- •Выбор формы уравнения регрессии
- •Множественная регрессия
- •Частные коэффициенты корреляции
- •Множественная линейная регрессия
- •Оценка параметров уравнения линейной регрессии
- •Множественная нелинейная регрессия. Алгоритм метода Брандона
- •Спецификация множественной регрессии
- •Приложение 2. Распределение Дарбина—Уотсона
Линейная зависимость
Для определения неизвестных параметров линейной зависимости методом наименьших квадратов необходимо решить следующую систему нормальных уравнений:
. (3)
Пусть d, da ,db – определители, соответствующие системе уравнений (3), а именно:
.
Тогда неизвестные коэффициенты уравнения регрессии будут равны:
.
Другое решение системы (3). Из первого уравнения следует: , а из второго – имеем:
Таким образом , .
Подставив значения а и b в формулу , получим:
Гиперболическая зависимость
При гиперболической зависимости параметры a и b находят, как и в случае линейной зависимости, но для уравнения регрессии , где .
Степенная зависимость
Для определения параметров a и b степенной зависимости необходимо преобразовать зависимость в линейную, для этого необходимо прологарифмировать обе части:
Пусть , a* = lna, x* = lnx, тогда .
Применив к зависимости МНК, находим .
Определители d, da*, db относятся к системе уравнений
, где
Значение а находим в результате потенцирования a = ea*, значение b из соотношения b = db / d.
Логарифмическая зависимость
Для определения параметров a и b при заданной зависимости уравнение регрессии представим в виде ,где x*=lnx..
Параболическая зависимость
Алгоритм применения МНК для параболической зависимости второго порядка заключается в следующем:
-
Строится целевая функция:
-
Находится система нормальных уравнений
Система преобразуется к виду:
Решение системы нормальных уравнений относительно неизвестных параметров a, b, c можно найти, как и при линейной зависимости, с помощью определителей:
, где
Алгоритм применения МНК для параболической зависимости третьего порядка заключается в следующем:
-
Строится целевая функция:
-
Находится система нормальных уравнений
Система преобразуется к виду:
Решение системы нормальных уравнений относительно неизвестных параметров a, b, c, d можно найти, как и при линейной зависимости, с помощью определителей:
, где
Тригонометрическая зависимость
Уравнение регрессии этого вида является приближением функции y(х), которое тем точнее, чем больше значение m (m - число гармоник, количество составляющих исследуемого процесса). Поэтому при различных значениях m получаются различные виды тригонометрической зависимости.
Значения неизвестных параметров a0, ak, bk () находят с помощью метода наименьших квадратов.
Для этого строится целевая функция:
Далее находят .
Получается система нормальных уравнений. Эта система обладает свойством ортогональности.
В результате решения системы получим:
Если в качестве фактора xi рассматривается фактор времени (например, при построении тригонометрического тренда), то xi заменяем на величину , где , для помесячных данных
Таблица 1.
месяцы |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
уровни |
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
Например, при k=1 тригонометрический тренд имеет вид: , где , ,
Если объем выборки N больше 12 месяцев, то для первых 12-ти месяцев изменяется от 0 до , затем в следующем году снова изменяется от 0 до , и так повторяется для каждого последующего года.
Если увеличивается число коэффициентов в уравнении регрессии при параболической и тригонометрической зависимости, то увеличится точность аппроксимации, но уменьшится значимость в результате увеличения дисперсии , где n – количество неизвестных параметров в уравнении регрессии.
При нелинейной зависимости определение тесноты связи между двумя случайными величинами х и y производится с помощью корреляционного отношения
, где .