Математическое определение регрессии

Строго регрессионную зависимость можно определить следующим образом. Пусть Y, X₁,X₂,...,X_p — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений X₁ = x₁,X₂ = x₂,...,X_p = x_p определено условное математическое ожидание

y(x₁,x₂,...,x_p) = E(Y | X₁ = x₁,X₂ = x₂,...,X_p = x_p) (уравнение линейной регрессии в общем виде),

то функция y(x₁,x₂,...,x_p) называется регрессией величины Y по величинам X₁,X₂,...,X_p, а ее график — линией регрессии Y по X₁,X₂,...,X_p, или уравнением регрессии.

Зависимость Y от X₁,X₂,...,X_p проявляется в изменении средних значений Y при изменении X₁,X₂,...,X_p. Хотя при каждом фиксированном наборе значений X₁ = x₁,X₂ = x₂,...,X_p = x_p величина Y остается случайной величиной с определенным рассеянием.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение Y при изменении X₁,X₂,...,X_p, используется средняя величина дисперсии Y при разных наборах значений X₁,X₂,...,X_p (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии).

39. Линейная регрессия.

В регрессионном анализе изучается связь и определяется количественная зависимость между зависимой переменной и одной или несколькими независимыми переменными. Пусть переменная Y зависит от одной переменной . При этом предполагается, что переменная   принимает заданные фиксированные значения, а зависимая переменна Y имеет случайный разброс из-за ошибок измерения, влияния неучтенных факторов и т.д. Каждому значению  соответствует некоторый закон распределения вероятностей случайной величины Y. Предположим, что Y в "среднем" линейно зависит от значений переменной . Это означает, что условное математическое ожидание случайной величины Y при заданном значении  имеет вид

 .

Данная функция называется линейной теоретической функцией регрессии Y на , а параметры  и  – параметрами линейной регрессии (коэффициенты регрессии). На практике параметры регрессии определяются по результатам наблюдений переменных Y и , связь между которыми можно записать

 ,

где  – случайная ошибка наблюдений.

Для задач электроэнергетики результат опыта характеризуется не одной, а несколькими случайными величинами, которые могут зависеть друг от друга. Степень стохастической зависимости численно характеризуется корреляционным моментом и коэфф. корреляции.

Если известны эти значения то линейную зависимость м/д случ-ми в-нами можно получить с помощью линейной регрессии.

y-m_y=(K_xy/D_x)(x-m_x); x-m_x=(K_xy/D_y)(y-m_y);

40.Нелинейная регрессия.

Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.

Регрессионный анализ — метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной. Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные. Критерием качества приближения (целевой функцией) обычно является среднеквадратичная ошибка: сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента. Регрессионный анализ — раздел математической статистики и машинного обучения. Предполагается, что зависимая переменная есть сумма значений некоторой модели и случайной величины.

Термину регрессионная модель, используемому в регрессионном анализе, можно сопоставить синонимы: «теория», «гипотеза». Эти термины пришли из статистики, в частности из раздела «проверка статистических гипотез». Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.

Регрессионная модель  — это параметрическое семейство функций, задающее отображение

где  — пространтсво параметров,  — пространство свободных переменных,  — пространство зависимых переменных.