9.3.4. Критерии оптимальности многофакторных регрессионных моделей

Математическая статистика в качестве критерия точности построенной регрессионной модели относительно тех выборочных данных, по которым она строилась, предлагает остаточную дисперсию или среднеквадратическую навязку

.

Сам метод наименьших квадратов, лежащий в основе вычислений коэффициентов регрессионной модели, при заданной выборке исходных данных и заданной совокупности факторов минимизирует именно эти величины. Регрессионная модель считается адекватной, если остаточная дисперсия существенно меньше общей исходной дисперсии выходной величины (9.29):

,

где: F(P, v₁ , v₂) – табличное значение критерия Фишера для выбранного значения доверительной вероятности P и числа степеней свободы числителя и знаменателя ;

N – объём выборки, по которой строилось уравнение регрессии;

l – число факторов построенной регрессионной модели.

Этот критерий показывает, насколько существенно построенная регрессионная модель снижает общую дисперсию выходной величины.

Ясно, что приведённый критерий не может использоваться для сравнения различных регрессионных моделей с целью выбора оптимальной из них. Однако сама остаточная дисперсия как характеристика точности построенной модели относительно тех данных, по которым она была построена, вполне может быть использована в качестве критерия для отбора наилучшей регрессионной модели на каждом шаге. Но здесь возникает две проблемы. Первая из них связана с предсказательной точностью модели, а вторая с её способностью сглаживать “шум” выборки, вызванный неизбежными погрешностями, возникающими при измерении факторных и выходного признаков.

Под предсказательной точностью модели понимают её точность относительно новых значений факторных признаков, не участвовавших в построении самой модели. Её можно характеризовать остаточной дисперсией данной модели относительно другой выборки данных, взятой из той же генеральной совокупности. Совершенно понятно, что предсказательная точность модели для всех практически важных случаев является более важной, чем точность модели относительно тех данных, по которым данная модель была построена. Конечно, предсказательная точность модели будет напрямую зависеть от представительности (репрезентативности) той выборки, по которой она была построена. Поэтому для выборок достаточно больших объёмов (N>100), взятых из генеральной совокупности при одинаковых условиях, то есть имеющих равную репрезентативность, остаточные дисперсии для обучающей выборки, по которой была построена модель, и для проверочной выборки будут практически одинаковы (конечно, пока число факторов, включённых в модель остаётся много меньше объёма каждой выборки, то есть пока модель далека от насыщения и хорошо сглаживает “шум” выборки). Но при уменьшении объёмов выборок остаточные дисперсии по обучающей и проверочной выборкам ведут себя совершенно по-разному по мере усложнения самих регрессионных моделей (то есть по мере включения в неё всё большего числа факторов). Если остаточная дисперсия по обучающей выборке при включении в модель каждого последующего фактора монотонно убывает, то остаточная дисперсия по проверочной выборке убывает лишь на первых шагах усложнения модели, а, начиная с какого-то шага (какого именно, зависит от объёма выборок), будет возрастать, образуя чёткий минимум. Если при этом обе выборки ещё можно считать репрезентативными, то этот минимум будет соответствовать той предельной сложности модели, при которой она ещё хорошо сглаживает “шум” выборки. Если же объём выборок настолько мал, что считать их репрезентативными нельзя, то такой минимум наступит гораздо раньше в силу расхождения самих выборок, так как ни та, ни другая не будут адекватно представлять генеральную совокупность. Но хотя оптимальная сложность модели в этом случае ещё не будет достигнута, всё равно дальнейшее усложнение модели становится не только бессмысленным, но и вредным, так как предсказательная точность модели будет при этом падать. Таким образом, минимум остаточной дисперсии по проверочной выборке является надёжным критерием для прекращения дальнейшего наращивания мерности модели при любом объёме выборок. А поскольку эта дисперсия характеризует предсказательную точность модели, которая более важна, чем точность модели для обучающей выборки, то, в принципе, остаточную дисперсию по проверочной выборке можно использовать в качестве критерия оптимальности модели и при отборе наилучшей модели каждого шага, и при выборе модели оптимальной сложности.

Но для окончательного выбора критерия необходимо рассмотреть ещё одну проблему – проблему устойчивости регрессионных моделей. Как уже упоминалось выше, основной причиной неустойчивости регрессионных моделей является включение в модель неортогональных друг к другу факторов, то есть взаимная корреляция этих факторов. Следует заметить, что использование в качестве критерия отбора очередного фактора в модель остаточной дисперсии само по себе автоматически приводит к отбору на каждом новом шаге именно того фактора, который, достаточно сильно коррелируя с выходной величиной (результативным признаком), слабо коррелирует с уже включёнными в модель факторными признаками. Это понятно, поскольку, если отбираемый очередной факторный признак будет тесно коррелировать с одним из уже включённых факторов, то данный признак будет нести мало дополнительной информации, а, следовательно, не будет приводить к существенному уменьшению остаточной дисперсии. Однако такое положение сохраняется лишь на первых шагах стратегии включения, когда ещё остаётся достаточно большой выбор для включения очередного фактора, то есть пока соблюдается условие

n >> l,

где n – начальная мерность факторного пространства, l – число уже отобранных в модель на предыдущих шагах факторных признаков.

А когда среди оставшихся факторных признаков будут оставаться только либо несущественные, либо достаточно сильно коррелирующие с факторными признаками, уже включёнными в модель на предыдущих шагах, то среди последних будет отобран фактор, наиболее слабо (по сравнению с оставшимися) коррелирующий с уже включёнными ранее факторными признаками, но, тем не менее, эта корреляционная связь окажется уже существенной. Наличие в модели достаточно тесно коррелирующих между собой факторных признаков может приводить к двум нежелательным последствиям. Во-первых, ковариационная матрица становится близкой к вырожденной, то есть её определитель становится очень близким к нулю, а значит, обращение такой матрицы становится невозможным. Во-вторых, даже если ЭВМ справится с обращением такой матрицы, то найденное уравнение регрессии становится неустойчивым, то есть при небольших вариациях исходных данных (которые могут вызываться погрешностями их измерений), вычисленные по этому уравнению значения выходной величины могут изменяться весьма значительно. А это означает, что предсказательная точность такой модели будет очень низкой. Чтобы этого избежать, необходимо при отборе очередного факторного признака исключить возможность получения неустойчивой модели.

Такая возможность может появляться лишь в тех случаях, когда и обучающая, и проверочная выборки достаточно представительны и их объём весьма велик. В этом случае при пошаговом усложнении модели согласно изложенному выше алгоритму остаточные дисперсии и по обучающей, и по проверочной выборкам будут монотонно убывать и незначительно отличаться друг от друга. Поэтому критерий в виде

, (9.34)

где s_м – погрешность математической модели;

– остаточные дисперсии соответственно по обучающей и проверочной выборкам;

k – текущая мерность модели;

не будет давать чёткого минимума даже тогда, когда в модель начнут включаться признаки, тесно коррелирующие с уже включёнными ранее. При этом коэффициенты при положительных и отрицательных членах регрессионной модели будут увеличиваться по абсолютной величине, что и будет приводить к неустойчивости решения – результирующая величина Y, вычисляемая как разность между положительными и отрицательными членами модели, окажется по абсолютной величине много меньше самих этих членов.

Чтобы этого избежать, необходимо дополнить критерий (9.34) членом, который бы минимизировал сумму квадратов всех коэффициентов регрессионной модели. Это можно сделать, если интерпретировать определение выходной величины Y, по измеренным значениям факторных признаков, включённых в модель, как косвенное измерение величины Y. Тогда можно воспользоваться известной формулой погрешности косвенных измерений:

, (9.35)

где: s_Уинс – инструментальная погрешность выходной величины Y, определяемая погрешностями измерений факторных признаков s_Xj;

b_j – коэффициенты регрессионной модели, соответствующие учитываемым факторам X_j;

l – число факторов, включённых в модель.

Совершенно очевидно, что с ростом сложности модели s_У.инс будет монотонно возрастать. Но пока модель остаётся устойчивой, каждый вновь добавляемый член модели будет вносить все меньший вклад в результирующую величину, а коэффициенты при ранее включенных факторах будут изменяться незначительно. В предельном случае, если все факторы независимы, то они вообще не меняются. Но как только в модель начнут включаться факторы, тесно коррелирующие с уже включёнными ранее, положение резко меняется. Все коэффициенты начинают резко возрастать, а следовательно, и s_У.инс резко увеличивается.

Общую погрешность определения выходной величины Y по построенной модели можно определить как

. (9.36)

Очевидно, что наилучшей предсказательной способностью будет обладать модель, отвечающая условию mins_y при последовательном наращивании её мерности.

Поэтому этот критерий можно использовать и при подборе наилучшего факторного признака из оставшихся при каждом очередном шаге усложнения модели, и при сравнении наилучшей модели очередного шага с наилучшей моделью предыдущего шага.

Выражение (9.35) справедливо лишь для линейных моделей. Но нетрудно получить аналогичные выражения и для нелинейных моделей. В частности, для широко применяемых полиномиальных моделей второго порядка соответствующее выражение будет иметь вид

, (9.37)

где b_jj – коэффициенты при квадратичных членах модели;

b_jq – коэффициенты при попарных произведениях факторов;

средние значения факторов Х_j и Х_q.

Комплексный критерий (9.36) был впервые введён применительно к многопараметровому неразрушающему контролю автором [16] и назван D-критерием. Его поведение было исследовано с помощью имитационного математического моделирования и на реальных задачах в условиях вариации объёмов обучающей и проверочной выборок, степени стохастичности искомых зависимостей, величины инструментальных погрешностей, степени взаимной коррелированности факторных признаков и при различных законах распределения выборочных данных. Эти исследования убедительно показали, что D-критерий эффективен и как критерий выбора очередного факторного признака для включения в модель, и как критерий прекращения дальнейшего наращивания сложности модели при пошаговой стратегии включения для всех моделируемых условий. При малых объёмах выборок D-критерий начинает расти уже после первых двух-трёх шагов. Это определяется начинающимся ростом остаточной дисперсии по проверочной выборке ( ) из-за статистической неидентичности обучающей и проверочной выборок при их недостаточном объёме. Это означает, что при дальнейшем усложнении модель становится неадекватной генеральной совокупности. Проверить это легко по критерию Фишера. Поэтому после каждого очередного шага следует производить проверку по критерию Фишера, сравнивая дисперсии, полученные по обучающей и проверочной выборкам, и, если они существенно различаются, останавливать алгоритм независимо от того, достигнут ли глобальный минимум D-критерия или нет.

В условиях же представительности обеих выборок с увеличением сложности модели остаточные дисперсии и по обучающей, и по проверочной выборкам будут вести себя примерно одинаково (то есть монотонно убывать с ростом числа членов модели) до тех пор, пока модель далека от насыщения (то есть l << N_об). Однако, как уже было сказано выше, такая модель может начать терять устойчивость. Именно от этого предохраняет введение в D-критерий инструментальной погрешности. Действительно, при росте числа членов модели величина σ_Уинс начинает существенно расти. В это же время σ_м продолжает монотонно уменьшаться, но скорость уменьшения с каждым новым шагом замедляется. В итоге, когда скорость роста σ_Уинс превысит скорость уменьшения σ_м, D-критерий начнёт возрастать. В этом случае алгоритм будет остановлен при достижении глобального минимума D-критерия. Причём это произойдет задолго до достижения насыщения модели даже при малой степени стохастичности моделируемых зависимостей и высокой точности измерения факторных признаков.

Имитационное моделирование показало, что эффективность D-критерия не снижается и в условиях взаимной корреляции факторных признаков, и при существенных отклонениях закона распределения выборочных данных от нормального. Поэтому его можно рекомендовать для построения оптимальных регрессионных моделей по данным пассивного многофакторного эксперимента в условиях неопределённости факторного пространства.