Регрессия (в теории вероятностей и математической статистике) – зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин.

В отличие от чисто функциональной зависимости у = f(х), когда каждому значению независимой переменной х соответствует одно определённое значение величины у, при регрессионной связи одному и тому же значению х могут соответствовать в зависимости от случая различные значения величины у. 

Уравнение регрессии

Зачастую, регрессия подаётся в виде простого уравнения, которое раскрывает зависимость и силу связи между двумя группами числовых переменных, одна из которых называется зависимой (эндогенной), а вторая - независимой (экзогенной или фактором). Если есть группа взаимосвязанных показателей, то зависимая переменная выбирается логическими размышлениями, а остальные выступают независимыми.

Линейное уравнение

Линейное уравнение иллюстрирует строго линейную связь между переменными, то есть в нём отсутствуют степени, дроби, тригонометрические функции. Решается стандартными математическими способами.

Нелинейное уравнение

Логично предположить, что в нелинейный класс уравнений входит всё то, что не вошло в линейный.

Виды регрессии

Регрессия бывает двух видов: парная (линейная и нелинейная) и множественная (линейная и нелинейная). Разница между ними в виде уравнения и количестве независимых переменных. Логично, что парная регрессия - это когда одна зависимая переменная и одна независимая, в множественной - независимых переменных несколько.

Парная регрессия

Парная (её ещё называют двухфакторной) модель проста в использовании, так как у нас всего две переменные: эндогенная и экзогенная, а значит, будет просто решить уравнение и провести анализ. А это значит, что и применять на практике такую модель очень легко.

Линейная парная регрессия

Связь зависимой переменной с одной или несколькими независимыми переменными описывается с помощью уравнения регрессии:

= f(x1, x2, ..., xm)

Это уравнение показывает, каково будет в среднем значение y, если переменные x примут конкретные значения.

Если независимая переменная одна, то регрессия называется парной.

Построение уравнения регрессии включает два этапа:

1) определение вида зависимости (этап спецификации);

2) определение коэффициентов регрессии (этап идентификации).

Предположим, на этапе спецификации установлено, что между величинами x и y существует линейная зависимость. Реальные значения y будут отличаться от этой теоретической зависимости.

В общем случае линейное уравнение связи двух переменных, учитывающее случайные отклонения, можно представить в виде:

y =   +  x +  ,

где   – отклонение от теоретически предполагаемого значения;

 и   - неизвестные параметры (коэффициенты регрессии).

В уравнении можно выделить две части:

• систематическую,   =   +  x, где   характеризует некоторое среднее значение y для данного значения x;

• случайную ( ).

Коэффициенты   и   описывают вид зависимости для генеральной совокупности. Так как при выполнении подобных исследований всегда имеют дело с выборочной совокупностью, то истинные значения параметров   и   являются неизвестными, и мы можем говорить лишь об их оценках. Обозначим эти оценки, соответственно, а и b, тогда уравнение регрессии с оцененными параметрами будет иметь вид:

i = a + bxi,

где n - объем выборки.

Множественная регрессия

Множественная (многофакторная) модель намного сложнее, так как мы имеем уравнение с большим количеством переменных, для решения которого существуют определённые математические способы (метод наименьших квадратов, например).

Изучение регрессии в теории вероятностей основано на том, что случайные величины Х и Y, имеющие совместное распределение вероятностей, связаны вероятностной зависимостью: при каждом фиксированном значении Х = х величина Y является случайной величиной с определённым (зависящим от значения х) условным распределением вероятностей. Регрессия величины Y по величине Х определяется условным математическим ожиданием Y, вычисленным при условии, что Х = х: Е(Y êх) = u(х).

Уравнение у = u(х), в котором х играет роль «независимой» переменной, называется уравнением регрессии, а соответствующий график — линией регрессии величины Y по X. Точность, с которой уравнение регрессии Y по Х отражает изменение Y в среднем при изменении х, измеряется условной дисперсией величины Y, вычисленной для каждого значения Х = х:

D(Y êх) = s²(x). Если s²(х) = 0 при всех значениях х, то можно с достоверностью утверждать, что Y и Х связаны строгой функциональной зависимостью Y = u(X). Если s²(х) = 0 при всех значениях х и u(х) не зависит от х, то говорят, что регрессия Y по Х отсутствует. Аналогичным образом определяется регрессия Х по Y и в частности, уравнение регрессии х = u(у), = Е(ХïY = у). Функции у = u(х) и х = u(у), вообще говоря, не являются взаимно обратными.