Регрессионные модели----Линейные регрессионные модели

В целях исследований часто бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально ею внутренней структуры.

По степени информированности исследователя об объекте существует деление объектов на три типа «ящиков»:

• «белый ящик»: об объекте известно все;

• «серый ящик»: известна структура объекта, неизвестны количественные значения параметров;

• «черный ящик»: об объекте неизвестно ничего.

Черный ящик условно изображают как на рисунке 8.1.

Рис.8.1. Модель черного ящика

Значения на входах и выходах черного ящика можно наблюдать и измерять. Содержимое ящика неизвестно.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа.

В зависимости от того, доступны входы исследователю для управления или только для наблюдения, можно говорить про активный или пассивный эксперимент с ящиком.

Результаты наблюдений за объектом имеют вид, показанный на рисунке 8.2. Всего на графике n экспериментальных точек.

Рис.8.2 Экспериментальные точки

Предположим, что мы имеем дело с черным ящиком, имеющим один вход и один выход. Допустим, что зависимость между входом и выходом линейная или близка к линейной. Тогда данная модель будет называться линейной одномерной регрессионной моделью.

Для проверки сделанного допущения нужно выполнить последовательность действий, которая изложена ниже.

1) Исследователь вносит гипотезу о структуре ящика.

Рассматривая экспериментально полученные данные, предположим, что они подчиняются линейной гипотезе, то есть выход Y зависит от входа X линейно, и гипотеза имеет вид:

y=A₁X+A₀

2) Определение неизвестных коэффициентов A₀ и A₁ модели

Линейная множественная модель

Предположим, что функциональная структура ящика имеет линейную зависимость, но количество входных сигналов, действующих одновременно на объект, равно т (см. рис. 8.5):

Рис. 8.5. Черный ящик с несколькими входами

Y=A₀+A₁X₁+…+A_mX_m

Так как подразумевается, что мы имеем экспериментальные данные о всех входах и выходах черного ящика, то можно вычислить ошибку между экспериментальным и теоретическим значением Y для каждой i-ой точки и минимизировать суммарную ошибку F:

Для определения значений коэффициентов A_m используется матричное уравнение Крамера с m+1 неизвестными:

13. Модель черного ящика и нелинейные регрессионные модели.

Нелинейные регрессионные модели Квадратичная модель

Пусть белый, черный ящик имеет два входа (см. рисунок 8.6), а зависимость выхода от входов напоминает квадратичную, то целесообразно выбрать такую гипотезу:

Y=A₀+A₁·X₁+A₂·X₂+A₃·X₁·X₂+A₄·X₁·X₁+A₅·X₂·X₂.

Рис.8.6. Модель черного ящика с двумя входами

Обозначим: Z₁=X₁·X₂ Z₂=X₁·X₁; Z3=X₂·X₂ и подставим эти выражения в предыдущую формулу: Y = А₀ + А₁· Х₁ + А₂· Х₂+А₃ ·Z₁+A₄·Z₂+A₅· Z₃.

Таким образом, данная задача сведена к линейной множественной модели. А модель черного ящика теперь выглядит так, как показано на рисунке 8.7.

Рис. 8.7. Преобразованная модель черного ящика Мультипликативная регрессионная модель

Пусть модель черного ящика имеет вид, показанный на рисунке 8.8. Выход черного ящика связан со входом в виде зависимости:

Y=A₀·X₁^A₁·X₂^A₂…X_m^A_m

Модель черного ящика показана на рисунке 9.3.

Рис.8.8. Модель черного ящика с несколькими входами

прологарифмируем левую и правую части данного уравнения:

ln(Y)=ln(A₀)+A₁·ln(X₁)+A₂·ln(X₂)+…+A_m·ln(X_m)

Обозначим:

W=ln(Y),B₀=ln(A₀),Z₁=ln(X₁),Z₂=ln(X₂),…,Z_m=ln(X_m)

Получим:

W=B₀+A₁·Z₁+A₂·Z₂+…+A_m·Z_m