§ 2.3. Регрессия. Линии среднеквадратической регрессии

Основная задача регрессионного анализа – изучение зависимости между результативным признаком Y и факторным признаком X и оценка функции регрессии. В общем случае зависимость Y от X можно представить в таком виде:

Y = g(x) + ε(x),

где g(x) – функция регрессии, а ε(x) – погрешность, отклонение функции регрессии от истинной зависимости. В качестве g(x) обычно берут функцию, минимизирующую математическое ожидание квадрата отклонения Mε². Параметры g(x) определяют как управляемые переменные задачи оптимизации, в которой необходимо найти такие их значения, при которых целевая функция – сумма квадратов отклонений функции регрессии от Y для всей генеральной совокупности достигает минимума.

Представим одну из величин двумерной случайной величины (X, Y) как функцию другой. Если ограничиться приближенным представлением величины Y в виде линейной функции величины X, то эту зависимость следует представить таким образом:

Y ≈ g(x) = β₀ + β₁X ,

где β₀ и β₁ – параметры, подлежащие определению. Для их определения обычно используется метод наименьших квадратов.

Функцию g(x) называют наилучшим приближением Y в смысле метода наименьших квадратов ( МНК ) , если математическое ожидание M [Y – g(X)]² принимает наименьшее возможное значение, а функцию g(x) называют среднеквадратической регрессией Y на X. Справедлива теорема, из которой следует, что

g(x)= m_y + ρ_xyσ_y/σ_x ( X - m_x) ;

m_x = M(X); m_y = M(Y); σ_x , σ_y – средние квадратические отклонения величин; ρ_xy = μ_xy/(σ_x σ_y) – коэффициент корреляции величин X и Y .

Коэффициент β = ρ_xyσ_y/σ_x называют коэффициентом регрессии Y на X, а прямую

y – m_y = ρ_xyσ_y/σ_x ( x - m_x)

называют прямой среднеквадратической регрессии Y на X.

Величину ошибки, которую допускают при замене Y линейной функцией g(X) , характеризует минимальное значение функции

F ( β₀ , β₁ ) = M [ Y – β₀ – β₁X ]² = σ_y²( 1 – r² ).

Эту величину называют остаточной дисперсией случайной величины Y относительно случайной величины X. При ρ_xy = ±1 остаточная дисперсия равна нулю. В этом случае Y и X связаны линейной функциональной зависимостью.

Аналогично можно получить прямую среднеквадратической регрессии X на Y : x - m_x = ρ_xyσ_x/σ_y ( y - m_y)

и остаточную дисперсию

D_остx = σ_x²( 1 – r² )

величины X относительно Y . При r = ±1 обе прямые регрессии совпадают и проходят через точку (m_x, m_y), которую называют центром совместного распределения величин X и Y.

Если обе функции регрессии Y на X M ( Y | x ) = f ( x ) и X на Y

M ( X | y ) = φ ( y ) линейны , то говорят, что X и Y связаны линейной корреляционной зависимостью. Графики линейных функций регрессии – прямые линии, которые совпадают при этом с прямыми среднеквадратической регрессии. Справедлива теорема, которая утверждает, что если двумерная случайная величина распределена нормально, то X и Y связаны линейной корреляционной зависимостью.