Ответы к ГАКу на степень бакалавра / 165

165. Регрессионные модели. Одномерный регрессионный анализ. Прогнозные свойства модели.

Регрессионный анализ (р/а) предназначен для построения регрессионных моделей.

Регрессия - это зависимость математических ожиданий одной или нескольких СВ от одной или нескольких не СВ.

Под неслучайностью здесь понимается, что значения измеряют с исчезающе малой погрешностью (или с абсолютной точностью).

Одномерная или простая регрессия - это зависимость МО одной СВ от одной не СВ. Модели называются одномерными.

Множественная регрессия - это зависимость МО одной СВ от нескольких не СВ. Процедура построения этой модели - множественный регрессионный анализ.

Многомерная регрессия - зависимость мат. ожиданий нескольких СВ от нескольких не СВ. Называется многомерный р/а.

Одномерный р/а.

Модель имеет вид: e

Х +

ä исследуемый объект t ä У

(вход) (выход)

у_i = f ( x_i ) + e_i

Р/а базируется на предпосылках или на условиях, которые должны выполняться. Условия формулируются относительно e_i ( т.е. помехи):

1.e_i Î N ( 0 , s²_e ) т.е. e распределено по нормальному закону с МО = 0 и Д = s²_e .

2. s²_e = const., т.е. для любого Х одна и та же.

3. COV ( ei, ej ) = 0 для любых i ¹ j, т.е. они независимы.

М (У) = f (Х) - уравнение регрессии, т.к. М(e) = 0 (из 1.пункта).

Для выполнения 1 условия в модель необходимо включать константу или свободный коэффициент.

В случае невыполнения 2 пункта, необходимо построить скедастическую модель: это модель, связывающая дисперсию возмущений с входными контролируемыми параметрами. Ее вид:

s²_e = j (х).

Динамическая регрессионная модель: Уi = f (x) + j (i) + ei

Если не выполняется 3 пункт, то возможны 2 пути разрешения проблемы:

1. Осуществить рандомизацию при съеме информации с объекта. Это изменение Х не каким-либо способом, а случайно.

2. Построить динамическую регрессионную модель, для которой в каждом наблюдении присутствует еще функция, описывающая зависимость, т.е. изменение e от i.

Оценивание коэффициентов модели.

Существует два метода оценивания:

1. Метод максимального правдоподобия.

f (x) = f (x,m) выборка : х₁, ... , х_n

_n

L = П f ( x_i, m ) = f ( x₁, m )* ... *f ( x_n, m ) ® max.

i = 1

Это функция правдоподобия. Надо найти m при L ® max.

2. Оценивание методом наименьших квадратов (МНК). В это методе оценка определяется из условия минимальности суммы квадратов отклонений данных от модели.

Пример: y = bx

L = å ( yi - bxi )²

Доказано, что квадратичная функция подобного рода имеет один экстремум и он минимум. Отсюда :

Ù å yi xi

b = - это МНК - оценка коэффициента.

å xi ²

Предположим, взяли другую модель: y = b_o + b₁ x L = å ( y_i - b_o - b₁ x_i ) ²

Получим систему нормальных уравнений:

å y_i = n b_o + b₁ å x_i

å y_i x_i = b_o å x_i + b₁ å x_i ²

Решение этой системы, если оно существует, дает МНК - оценки параметров ( или коэффициентов) модели.

Надо проверить гипотезы:

Но₁ : bo = 0

Но₂ : b₁ = 0

Если по какому-либо коэффициенту данные противоречат гипотезе о равенстве нулю истинного значения, то составляющая с оценкой этого коэффициента остается в модели; если не противоречат, то соответствующая составляющая с этим коэффициентом должна быть удалена из модели и пересчитана заново.

Прогнозные свойства модели.

Ù Ù Ù

Прогноз: y = bo + b₁ x, здесь х не СВ, а y - СВ.

y

у _в «коридор ошибок»

или доверительный интервал

Ù оценок

y(a)

у_н доверительный

интервал прогноза

а с х

Регрессионную модель можно использовать только для значений х Îобласти изменения х , для которой построена модель.