Вопрос 3. Модель и предпосылки классической регрессии.

В классическом регрессионном анализеищется зависимость между математическиможиданием объясняемой переменнойуот объясняющих переменных, которые полагаются детерминированными.

Обозначим реализацию (наблюденное значение) выходной переменной через , а оцененное значение –. Последовательные наблюдения будем снабжать индексом сверху,, …,,, … ,. Номер наблюдения соответствует либо определенному объекту, на котором снимаются наблюдения, либо моменту времени, если наблюдается “история” некоторого объекта. Вводя вектор, наблюденные значения входных переменных можно записать как. В матричных обозначениях результаты наблюдений представляются в виде

X=; = .

Строка матрицы наблюдений Хсоответствуетi-му (i=1,2,…,N) наблюдению.

Предпосылки классической регрессии

1.Полагают, что наблюденные значениясодержат детерминированную составляющую, на которую аддитивно наложено случайное возмущение, т.е.

.

При этом детерминированная составляющая специфицируется как линейная комбинация заранее известных (базисных, предикторных) функций ,так что

,i = 1,2,...,N,(3.1)

где – параметры, называемыекоэффициентами регрессии.

В векторной записи (3.1) примет вид:

,

где y,u − N-мерные векторы-столбцы значений детерминированной и случайной составляющих;

– вектор-столбец коэффициентов регрессии;

F=­ – матрица значений базисных

функций.

Заметим, что в качестве базисной функции обычно выступает тождественная единица, т.е.1. Коэффициентпри такой базисной функции называютсвободным членом.

Примеры регрессионных моделей:

– линейная (по переменным) модель;

– нелинейная (по переменным) модель;

– нелинейная регрессия.

Предпосылка 1 специфицирует модель объекта исследования, точнее результаты наблюдения за объектом, в виде

. (3.1')

При этом конкретное наблюдение есть совместное проявление детерминированной, «истинной», зависимости и случайной составляющей. Заметим, что ни детерминированная составляющая, ни случайный компонент по отдельности не наблюдаемы.

2.Входные переменныеx являются неслучайными и измеряются с высокой точностью.

Предпосылка 2 говорит, что входные переменные могут быть измерены точно, обеспечивая тем самым возможность (часто потенциальную) воспроизводить наблюдения.

3. Матрица значений базисных функций F является матрицей полного ранга, т.е. ее ранг rank = min(N, (k+1)).

Предположение 3 обеспечивает применимость и единственность оценки по методу наименьших квадратов.

4.Случайная компонента является центрированной, т.е.

M= 0 для любыхi, или в векторной записиMu = 0.

Предположение 4 означает, что появление случайного компонента обусловлено действием неучтенных, малозначимых факторов, а также ошибками измерения, при этом их влияние на выходную переменную не приводит к систематическим ошибкам.

5.Возмущения в отдельных точках наблюдений являются некоррелированными, т.е.приij;(а)

дисперсия возмущений одинакова в любой точке наблюдений, т.е. ²() =constдля любыхi. (б)

Предпосылка 5 означает, что ковариационная матрица возмущений имеет вид:

cov u = M[uu′] = σ²I =

Матрицу подобной структуры называют скалярной, а возмущения со скалярной ковариационной матрицей –гомоскедастичными.

Предположение 5(б) говорит о том, что разброс выходной переменной возле «истинного» значения при повторных наблюдениях одинаков во всей области изменения входных переменных (гипотеза о гомоскедастичности возмущений).