Выбор уравнения регрессии
Могут быть выбраны как линейные зависимости, так и нелинейные, множественная регрессия с различным числом факторов. Общего правила не существует. Число измерений выхода и входа должно быть значительно больше числа факторов. Считается, что на каждый фактор должно приходиться 6-7 измерений. Как правило, на практике это уравнение выбирается по возможности простым.
Оценка параметров линейной регрессионной модели (пассивный эксперимент).
Предполагается, что статический объект описывается множественной регрессией с числом факторов n. Рассматривается объект с n – входами и одним выходом, статическая характеристика которого определяется регрессионной зависимостью (3а):
(3а)
Тогда
наблюдение
и статическая характеристика
связаны соотношением(3):
(3)
где
– случайная величина, вызванная действием
ненаблюдаемых входов.
Требуется
по результатам наблюдений за входами
и выходами объекта определить
неизвестных параметров. Другими словами,
структура модели известна и задана –
(3а). А коэффициенты регрессии неизвестны
– параметрическая идентификация.
Решение:
Для
оценки неизвестных коэффициентов
необходимы массивы данных о входах и
выходах объекта, которые получаем в
результате N
– измерений входов и выходов объекта
через одинаковые промежутки времени в
момент
.
В результате получаем массивы
,
где
.
В результате измерений можно составить
модель наблюдений (3) для каждого измерения
(4):
(4)
Каждое из уравнений связывает выход со статической характеристикой (значением входов).
Запишем
модель наблюдений (4) в векторной форме.
Рассмотрим вектор неизвестных параметров
,
вектор выходных наблюдений
.
n – число факторов (входов), N – число опытов (измерений).
Данные
по входам оформим в виде матрицы
.
Коэффициент
,
чтобы отразить влияние всех коэффициентов,
а все остальные элементы – коэффициенты,
соответствующие измеренные входы.
-
матрица измерения входа.
Запишем (4) в векторной форме (5):
(5)
Можно
найти приближенное значение
– оценки
.
Поэтому
– не
значение регрессии (статической
характеристики объекта), а оценка выхода
объекта (выход модели).
Для нахождения оценки коэффициентов определяем ошибку идентификации:
– остаточный
ряд,
где
- вектор невязок (остатков).
Для
упрощения вычисления оценок будем
считать, что ошибки идентификации
являются центрированными, т.е.
,
и некоррелированными.
– дисперсия
остатка,
– единичная
матрица,
– ковариационная
матрица остатков, элементами которой
являются ковариации между остатками,
а по главной диагонали дисперсии.
Т.к.
по предположению все элементы равны 0,
то ошибки некоррелированны, другими
словами,
– белый шум. Для нахождения оценок
коэффициентов регрессии введем критерий
идентификации в виде квадрата нормы
остатков:
(6)
В
качестве оценок выбирают такие величины,
при которых
.
(6) – оптимизационная задача без
ограничений, т.е.
может
быть любым.
Находится векторная производная от целевой функции и приравнивается к нулю:
– матричное
уравнение.
В
результате получим
(7)
Оценки,
получаемые по данному методу, МНК –
оценки. Оценки можно вычислить, если
.
Точность МНК – оценки .
Т.к. оценки являются случайными, то для их оценивания используется ковариационная матрица.
Модель
наблюдения:
.
Оценка
выхода объекта:
.
(7а)
(7а)
– оценка коэффициента регрессии.
Последовательность случайных величин
является центрированной и некоррелированной
.
Рассмотрим
ошибку измерения коэффициента регрессии
– разность между действительным
значением и оценкой:
.
Требуется
определить математическое ожидание
оценки
и ковариационную матрицу ошибок
оценивания:
Заменим оценку оценкой из (7а), вместо вектора наблюдений подставив модель наблюдений получим (7б):
(7б)
Подвергнем обе части операции математического ожидания:
Случайные величины центрированы. Следовательно, математическое ожидание равно нулю, и значение ожидаемой оценки равно действительному значению. Значение МНК – оценки является несмещенным.
Заменим ошибки измерения коэффициентов их значениями, и подвергнем операции математического ожидания:
(7в)
(7в) определяет точность оценки коэффициентов регрессии. Ковариационная матрица – математическое ожидание произведения двух случайных центрированных векторов. Элементами ковариационной матрицы являются ковариации между компонентами векторов, которые представляют ошибки измерения коэффициентов регрессии. На главной диагонали – дисперсии, которые характеризуют точность измерения коэффициентов регрессии.