Статические регрессионные модели Понятие черного ящика и регрессии

В целях исследований иногда бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально его внутренней структуры.

Объект, о внутреннем строении которого ничего неизвестно, называют чёрным ящиком. Значения на входах и выходах черного ящика можно наблюдать и измерять.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа.

Регрессия в теории вероятностей и математической статистике – это зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин. В отличие от чисто функциональной зависимости у = f(х), когда каждому значению независимой переменной х соответствует одно определённое значение величины у, при регрессионной связи одному и тому же значению х могут соответствовать в зависимости от случая различные значения величины у.

Линейная одномерная регрессионная модель

П редположим, что мы имеем дело с черным ящиком, имеющим один вход и один выход.

1. Гипотеза. Допустим, что зависимость между входом и выходом линейная (рис. 3): .

Тогда данная модель будет называться линейной одномерной регрессионной моделью.

2. Определение неизвестных коэффициентов a₀ и a₁ модели.

Для каждой из n снятых экспериментально точек ошибка E_i – это разность между экспериментальным значением Y_i^Эксп. и теоретическим значением Y_i^Теор., лежащим на гипотетической прямой . Эти ошибки называют регрессионными остатками:

.

Все ошибки надо сложить. Чтобы положительные ошибки не компенсировали в сумме отрицательные, находят сумму квадратов регрессионных остатков F:

(2)

Меняя переменные a₁ и a₀, можно влиять на величину суммарной ошибки F, добиваясь того, чтобы она стала минимальной.

Условие минимума (частные производные функции F по переменным a₁ и a₀ равны нулю):

(3)

Получим систему уравнений

(4)

Решив систему (4), например, методом Крамера, получим:

		(5)

Линейную регрессию часто называют методом наименьших квадратов, поскольку коэффициенты вычисляются из условия минимизации суммы квадратов ошибок (2).

3. Проверка гипотезы.

Для выяснения, насколько точен регрессионный анализ, используется сумма квадратов регрессионных остатков F(a₀,a₁) – мера рассеяния зависимой переменной вокруг линии регрессии.

Надо найти значение F, среднеквадратичное отклонение и расстояние (см. рис. 4, 5).

Если рассеяние (или среднеквадратичное отклонение) достаточно мало, и в полосу шириной 2σ (рис. 5), ограниченную линиями Y^Теор.–S и Y^Теор.+S, попадает 68.26% и более экспериментальных точек, то выдвинутая гипотеза принимается. В противном случае выбирают более сложную гипотезу или проверяют исходные данные.

Е сли требуется бóльшая точность, то используют дополнительное условие: в полосу, ограниченную линиями Y^Теор.–2S и Y^Теор.+2S, должны попасть 95.44% экспериментальных точек.

Условия принятия гипотезы получены из нормального закона распределения случайных ошибок – закона Гаусса (рис. 6). Здесь P – вероятность распределения нормальной ошибки.