5. Элементы корреляционного и регрессионного анализа в процедуре принятия решения.

Статистической называют зависимость, при которой изменение одной из величин влечет изменение закона распределения другой.

Статистические зависимости имеют место, когда величины зависят не только от общих для них, но и от разных случайных факторов. Например, зависимость между массой человека и его ростом. В частности, статистическая зависимость проявляется в том, что при изменении одной из величин изменяется среднее значение другой, в этом случае статистическую зависимость называют корреляционной.

Основными характеристиками вероятностных зависимостей являются корреляционный момент и коэффициент корреляции.

Корреляционный момент (момент связи) двух случайных величин X и Y - это мат. ожидание произведения центрированных случайных величин: К_xy =  (x_i - m_x)(y_j - m_y)p_ij, (для дискретных) ^{i j}   К_xy =   (x - m_x)(y - m_y)f(x,y)dxdy, (для непрерывных) - -

где p_ij - вероятность отдельных значений x_i и y_j.

Корреляционный момент характеризует одновременно связь между случайными величинами и их рассеяние. Если случайные величины независимы, то корреляционный момент равен нулю.

Если хотя бы одна из случайных величин имеет малое рассеяние, то корреляционный момент мал даже при тесной зависимости между случайными величинами. Поэтому для выделения характеристики связи между случайными величинами переходят к коэффициенту корреляции  = К_xy / S_xS_y,

где S_x и S_y - средние квадратические отклонения случайных величин.

Коэффициент корреляции характеризует степень тесноты зависимости и может изменяться в пределах от -1 до 1. Значения = 1 и  = -1 свидетельствуют о функциональной зависимости, значения = 0 свидетельствует о некоррелированности случайных величин (независимы).

При более подробном анализе вероятностной связи определяют условные мат.ожидания случайных величин m_y/x и m_x/y, т.е. мат.ожидания случайных величин X и Y при заданных конкретных значениях x и y соответственно.

Зависимость условного мат.ожидания m_y/x от x называют регрессией Y по X.

Для нормально распределенных величин Y и X уравнение регрессии Y по X имеет вид m_y/x = m_y +  S_y/S_x (x - m_x).

Важной областью применения корреляционного анализа является обработка результатов наблюдений случайных величин X и Y, которые представлены парными значениями x_i и y_i, где i = 1, 2, ... n, а n - число наблюдений.

Оценку r коэффициента корреляции  определяют по формуле r =  (x_i - x)(y_j - y) / (n-1)S_yS_x,

где x, y - где оценки мат.ожиданий m_x и m_y.

График зависимости мат.ожидания m_y случайной величины Y от x называется линией регрессии. Регрессионный анализ - нахождение этой зависимости по отдельным значениям величин (обычно экспериментальным точкам). Рассмотрим оценку параметров линейной регрессионной зависимости по методу наименьших квадратов. Линейная зависимость между величинами является достаточно распространенной. Уравнение линии регрессии записывают в виде m_y = b₀ + bx,

где b₀, b - оценки коэффициентов регрессии, которые находятся по методу наименьших квадратов, в основе которого положено требование минимизаций квадратов отклонений результатов измерений случайной величины от линии регрессиилинии регрессии: min{u=(y_i-m_y)²}, или после подстановки min{u=(y_i- b₀ - bx_i)²},

где y_i- реализация случайной величины в i-м опыте; x_i - значение независимой переменной в i-м опыте.

Минимум функции соответствует равенству нулю частных производных по всем неизвестным:

u/b₀ = -2(y_i- b₀ - bx_i) = 0;

u/b = -2(y_i- b₀ - bx_i) x_i = 0.

Раскрывая скобки, проводим суммирование и после преобразований получаем систему нормальных уравнений

nb₀ + bx_i = y_i; b₀x_i + bx_i² = y_i x_i.

Из решения системы получаем формулы для коэффициентов b₀ и b:

b = ny_i x_i - y_i x_i / (nx_i² - (x_i)²) b₀ = (y_i - bx_i)/n