Регрессионная зависимость двух признаков

После установления достаточной степени тесноты связи выполняется построение модели связи (уравнение регрессии).

Чаще всего используются следующие типы функций: линейная, гиперболическая, параболическая, показательная.

Для определения численных значений параметров уравнения связи используется метод наименьших квадратов (МНК).

Модель простой двумерной регрессии может быть записана в следующей форме:

или

= f(x, а) + _х ,

где у_х – значение признака Y при fix значении признака Х;

у^*_х = f(x, а) – теоретическое значение признака Y при фиксированном значении признака Х; а – неизвестный вектор параметров модели;

_х – погрешность (ошибка) наблюдений; является ненаблюдаемой величиной.

Относительно _х предполагают выполнение следующих требований:

1. .

2. < + .

3. = 0, i  j.

4. _х ~ N(0, ) .

Определим некоторое параметрическое семейство функций

f(x, а) = f(x, a₀,…, a_p).

Коэффициенты a₀, …, a_p находятся из условия минимизации суммы:

.

Линейная регрессия. Y = aX + b. Пусть имеется входной признак Х и результативный признак Y. Рассмотрим последовательность наблюдений (x_i, y_j) c абсолютной частотой m_ij, .

.

Тогда

, .

Дисперсия отклонения  определяется по формуле: .

Прогноз по модели тренда в точке вычисляется по формуле:

.

Нелинейная регрессия. Для определения адекватности модели (или меры нелинейной связи между переменными) используется коэффициент детерминации:

,

– объясненная дисперсия (вариация, обусловлена уравнением регрессии).

, – корреляционное отношение.

В случае линейной зависимости: . В остальных случаях всегда . Причем отклонение от линейности считается существенным, если .

Коэффициент детерминации показывает долю дисперсии исходного ряда, которая описывается моделью регрессии.

В ряде случаев можно перейти от нелинейной зависимости к линейной. Такой переход называется процессом линеаризации.

Множественная регрессия

Предположим, что имеется несколько факторных признаков Х₁, Х₂, …, Х_k, k > 1, и один результативный признак Y. Модель множественной регрессии будет иметь вид:

,

х =(х₁, х₂,…, х_k) – вектор значений факторных признаков;

у*_х = f(х₁, х₂,…, х_k, a), где функция f(x, a) выбирается из задаваемого параметрического семейства функций.

Для нахождения параметров функции f(x, a) используется МНК.

Относительно _х предполагается выполнение условий, сформулированных для случая простой двумерной регрессии.

Введем обозначения:

– матрица наблюдений. , , .

Тогда регрессионную модель представим в матричном виде Y = XA + .

Для нахождения a_i будем использовать метод наименьших квадратов:

.

Х^ТХА = Х^ТY, det Х^ТХ  0,

А = (Х^ТХ)^-1Х^ТY.

, i  j; ; .

Добавим равенство .

Запишем данную систему для случая, когда имеется два факторных признака, т.е. k = 2.

Откуда

, .

Обозначим . Величины _i называют стандартизированными коэффициентами множественной регрессии. Получим

Матрицу, составленную из коэффициентов

называют корреляционной (или матрицей парных коэффициентов корреляции).

Для проверки адекватности модели применяют множественный коэффициент детерминации , где r_y – множественный коэффициент корреляции, , , – сумма квадратов отклонений теоретических и средних значений;

= .

Слагаемые в правой части последнего равенства называют коэффициентами раздельной детерминации.

Заметим, что определитель = 0.

Обозначим

_k = , _k+1 =

Тогда

0 = = + = _k+1 + r²_y _k.

Следовательно,

r²_y = – _k+1 /_k.

Величину называют системным эффектом.

Частные коэффициенты детерминации:

, ,

где – коэффициент детерминации для уравнения регрессии со всеми факторными признаками, кроме x_m.

Для определения корреляционной зависимости между признаками, которые заданы в порядковой шкале, используется множественный коэффициент ранговой корреляции, иначе коэффициент конкордации:

,

где k – число признаков х₁,…,х_k, n – число наблюдений;

,

– ранги соответствующих значений.

Наблюдение записывается в виде вектора ( ).