9.3.2. Математический аппарат построения регрессионной модели

статического объекта по данным пассивного эксперимента

Рассмотрим случай, когда имеется один выходной параметр Y, который может быть связан с множеством входных параметров . Будем искать эту связь в виде линейного оператора

, (9.18)

где – вектор ошибок.

Следовательно, нам надо найти такие оценки параметров , которые минимизировали бы квадрат вектора ошибок .

Сама модель при этом имеет вид:

. (9.19)

А исходные данные заданы в виде многомерного массива измеренных значений выходного (Y_i) и входных (X_i) признаков:

Y₁, X₁₁, X₂₁, X₃₁, …, X_k1 ;

Y₂, X₁₂, X₂₂, X₃₂, …, X_k2 ;

……………………… . (9.20)

Y_n, X_1n, X_2n, X_3n, …, X_kn

Данная матрица имеет размерность (k+1)·n, где k – число входных параметров, а n – число измерений входных и выходного признаков.

Такая постановка задачи не лишает нас общности, так как, если у нас имеется не один, а несколько выходных параметров Y, то для каждого из них мы можем находить указанную модель многомерной связи независимо, используя тот же массив данных входных признаков.

Если же вид зависимости нелинейный, то, используя метод замены переменных, можно все нелинейные члены модели заменить линейными, в результате чего мы вновь приведём модель к линейному виду, но вместо k входных переменных у нас будет m (m > k). Например, если использовать полиномиальную полную модель второго порядка:

, (9.21)

то кроме линейных членов _ix_i добавляются их квадраты _iix_i² и попарные произведение _ijx_ix_j. Заменяя эти дополнительные члены новыми переменными , получим линейную модель, но с большим числом переменных. После нахождения всех коэффициентов этой модели делаем обратную подстановку и переходим к модели (9.15).

Для упрощений и уменьшений погрешностей вычисления из-за округления целесообразно произвести центрирование исходных данных, а вместо матрицы (9.16) использовать матрицу ковариаций. Для этого перепишем (9.15) в виде:

, (9.22)

то есть вместо элементов x_ij используем элементы , являющиеся отклонениями от среднего значения. Тогда, находя ковариации

, (9.23)

которые при i = j представляют собой дисперсии признака x_i: S²(x_i) = S_i², и включая в матрицу этих ковариаций входной параметр Y (результативный признак) с нулевым индексом, получим квадратную симметричную ковариационную матрицу размерностью (k+1)·(k+1):

. (9.24)

Благодаря центрированию исходных данных, составляющих матрицу измерений {x} и делению на n, уменьшается разница между абсолютными значениями чисел, составляющих матрицу {_ij}, что способствует уменьшению погрешностей вычисления. Необходимо подчеркнуть важность не столько абсолютных значений исходных данных, сколько их разброса относительно средних значений. Кроме того, учитывая, что, как правило, k << n матрица {} получается более компактная, чем матрица {x}, хотя и сохраняет всю необходимую информацию для вычисления коэффициентов уравнения множественной регрессии.

Для вычисления этих коэффициентов необходимо найти матрицу, обратную матрице {}:

. (9.25)

Из элементов обратной матрицы находятся все коэффициенты регрессионной модели b_j, которые являются МНК-оценками постоянных коэффициентов _j исходной модели (9.18):

b_j = - λ_0j / λ₀₀, (9.26)

где j = 1, 2, 3, …, k – номера факторов (входных переменных).

При этом нулевой коэффициент уравнения регрессии b₀, определяется, как среднее значение выходной величины:

. (9.27)

Остаточная дисперсия, характеризующая вектор ошибок уравнения регрессии относительно исходных данных, определяется как

, (9.28)

а совокупный коэффициент корреляции, определяющий тесноту линейной связи выходной величины Y со всеми учитываемыми факторами Х, находится как

. (9.29)

Аналогично может быть найден и совокупный коэффициент корреляции любого из факторных признаков х_j со всеми остальными (включая и нулевой х₀ = y):

. (9.30)

Но этим возможности регрессионного анализа не ограничиваются. Он позволяет оценить дисперсии каждого из коэффициентов b_j и, сравнивая их с остаточной дисперсией, проверить значимость этих коэффициентов.

Дисперсии оценок коэффициентов b_j могут быть найдены по формуле

. (9.31)

Теперь можно поочерёдно проверить нулевые гипотезы Н₀: , для всех j = 1, 2, …, k, тем самым, определив значимость каждого коэффициента b_j, а значит и соответствующего фактора х_j. Для этого можно воспользоваться критерием Стьюдента. Для данного случая t-статистика имеет вид

. (9.32)

Если , определяемое по (9.32). больше t_крит , определяемое для доверительной вероятности Р и числа степеней свободы υ = n – l, то нулевая гипотеза неверна, то есть коэффициент b_j является значимым. В противном случае данный коэффициент (и соответствующий фактор) можно считать незначимым и отбросить его. Значение t_крит определяется по таблицам t-распределения для υ = n – l и выбранного значения Р.

Исключив все незначимые факторы, необходимо, соответственно сократив матрицу дисперсий-ковариаций, пересчитать значения всех оставшихся коэффициентов b_j. На этом основан один из возможных путей отбора наиболее существенных факторных признаков, базирующийся на стратегии исключения.

Общая адекватность построенной модели относительно той выборки данных, по которой эта модель была построена, может быть оценена с помощью критерия Фишера:

, (9.33)

где – дисперсия выходной величины y.

Если значение , определяемое по (9.33), больше F_кр, найденное из таблицы F- распределения для доверительной вероятности P и двух чисел степеней свободы: для числителя υ₁ = n – 1 и для знаменателя υ₂ = n – k, то построенная модель существенно снижает исходную дисперсию выходной величины, а значит, данную модель можно считать адекватной относительно той выборки данных, по которой она была построена.

Таким образом, многомерный регрессионный анализ позволяет по экспериментальным данным, полученным в ходе реального функционирования технологического процесса, то есть по данным пассивного эксперимента, построить как линейную, так и нелинейную регрессионные модели технологического процесса и провести её анализ. Этот анализ позволяет:

• оценить степень существенности влияния каждого учтённого фактора и исключить из модели несущественные;

• оценить (по величине остаточной дисперсии и совокупному коэффициенту корреляции) общую точность модели относительно тех экспериментальных данных, по которым она была построена;

- определить статистическую адекватность модели относительно исходных данных.

Однако, чаще всего, такой прямой метод применения многомерного регрессионного анализа для построения математической модели технологического процесса оказывается малоэффективным, либо вообще невозможным. Это может происходить по следующим причинам.

1. Исходное множество влияющих на выходной продукт факторов может быть очень большим (от нескольких десятков до тысяч), что создаёт чисто вычислительные трудности, связанные с обращением матриц высокого порядка.

2. В большинстве случаев среди этих факторов имеются группы тесно коррелирующих между собой факторов, а в этом случае матрица ковариаций, по которой должны вычисляться коэффициенты регрессионной модели, становится плохо обусловленной и её обращение становится невозможным.

3. Даже если указанные выше трудности удаётся преодолеть, полученная регрессионная модель будет неустойчивой, то есть при небольших изменениях факторов значения выходных величин будут изменяться весьма сильно. Это означает, что данная модель, оставаясь адекватной относительно тех данных, по которым она была построена, будет обладать плохой предсказательной способностью, а значит давать неверные результаты при подстановке в неё новых данных. Следовательно, для любых новых данных эта модель окажется неадекватной. Естественно, что пользоваться такой моделью нельзя.

4. Регрессионные модели могут учитывать только количественные (измеримые) факторы, а среди воздействующих факторов могут оказаться и качественные, про которые мы можем сказать, что они либо присутствуют, либо отсутствуют.

С учётом указанных особенностей статистический анализ технологических процессов представляет собой весьма сложную задачу, для решения которой должен привлекаться весь арсенал имеющихся методов статистического анализа (дисперсионный, корреляционный, регрессионный, факторный и др.). Причём, ни в коем случае нельзя использовать эти методы формально. Необходимо глубоко понимать возможные области применения и ограничения, присущие каждому из этих методов. В противном случае, при внешней убедительности полученных выводов, они могут оказаться ложными и вместо пользы принесут только вред. Это тем более опасно в настоящее время, когда имеется целый ряд мощных математических программных пакетов, пользоваться которыми довольно несложно, что стимулирует их использование без глубокого понимания возможностей и ограничений каждого метода. С учётом сказанного в следующем параграфе приведена примерная методика использования одного из наиболее часто применяемых методов статистического анализа – многомерного регрессионного анализа для построения математической модели технологического процесса.