9.3.3. Выбор стратегии построения регрессионной модели в условиях избыточности факторного пространства

Изложенные выше требования репрезентативности факторного эксперимента при отсутствии чётких априорных сведений о перечне факторных признаков, от которых зависят выходные величины исследуемого технологического процесса, приводят к значительной избыточности первоначально исследуемого факторного пространства эксперимента. Кроме того, многие факторные признаки могут существенно коррелировать друг с другом. Возникает задача отбора из начального n-мерного пространства факторных признаков совокупности из l наиболее существенных и слабо коррелирующих между собой факторных признаков, по которым уже должна строиться регрессионная модель. В отличие от классической регрессионной задачи, рассмотренной выше (для полностью определённого факторного пространства, независимых факторных признаках и при заданном виде математической модели), в математической статистике не существует однозначного метода решения регрессионной задачи в условиях неопределённости.

Наиболее логичным представляется метод решения, базирующийся на стратегии исключения. Он подразумевает построение наиболее полной регрессионной модели по всем факторным признакам, учитываемым в эксперименте, а затем уже анализ каждого члена модели на существенность и отбрасывание всех незначимых членов модели. Для этого математическая статистика имеет достаточно надёжные критерии. Такой метод был бы безупречен, если бы все факторные признаки были бы независимыми или, хотя бы, слабокоррелированными. Но в реальных задачах это требование не выполняется, а при существенной взаимной корреляции хотя бы части факторных признаков матрица Х^ТХ или матрица дисперсий-ковариаций, по которым вычисляются коэффициенты уравнения регрессии, становится плохо обусловленной, то есть её определитель стремится к нулю. А при этом обращение матрицы, что необходимо для вычисления коэффициентов регрессии, становится невозможным. Более того, даже если матрицу удаётся обратить, то построенная модель становится неустойчивой. Это означает, что при небольших изменениях факторов могут происходить большие изменения выходной величины. Такая модель будет иметь очень плохую предсказательную способность, и пользоваться ей практически нельзя. Кроме того, при больших мерностях задачи даже при независимых факторах обращение матрицы высокого порядка становится затруднительным даже для современных ЭВМ, требуя огромного объёма вычислений. Все эти причины при большой начальной мерности задачи (более 20) исключают возможность применения алгоритмов, базирующихся на методе исключения.

Остаётся ещё два возможных пути. Первый из них состоит в том, чтобы ещё до построения регрессионной модели исключить из начального множества факторов все незначимые и сильно коррелирующие между собой факторы. Казалось бы, математическая статистика располагает для этого такими весьма мощными методами как дисперсионный, корреляционный и факторный анализы. Однако при детальном рассмотрении оказывается, что все эти методы применительно к данной задаче имеют существенные ограничения.

В самом деле, дисперсионный анализ, как было показано выше, позволяет лишь определить значимость или незначимость влияния качественных факторных признаков. Определить же степень влияния случайно изменяющегося количественного признака он не может.

Корреляционный анализ тоже имеет серьёзные ограничения, которые уже рассматривались в п. 9.2.3. Применительно к данной задаче все эти ограничения себя чётко проявляют. Действительно, парные коэффициенты корреляции при большом числе одновременно меняющихся факторов уже не могут дать надёжного представления о степени взаимосвязи любого из этих факторов с выходной величиной и друг с другом даже при линейных зависимостях. А если ещё моделируемые зависимости существенно нелинейны, то парные коэффициенты корреляции вообще нельзя использовать в качестве количественных характеристик тесноты связи.

От первого из этих ограничений можно было бы избавиться, применяя вместо парных частные коэффициенты корреляции. Однако, для вычисления частных коэффициентов корреляции в многомерных задачах должна быть построена и обращена полная матрица дисперсий-ковариаций для всех исходных факторов, включая и выходную величину. А, следовательно, здесь возникают те же самые трудности, которые не дают возможность использования методов, базирующихся на стратегии исключения. Что же касается второго ограничения, связанного с моделированием нелинейных зависимостей, для преодоления которого, в принципе, можно было бы вместо коэффициентов корреляции использовать корреляционные отношения, то, во-первых, они могут использоваться лишь вместо парных коэффициентов корреляции, а во-вторых, для многомерной задачи их вычисления очень громоздки. Таким образом, обойти ограничения, присущие корреляционному анализу, применительно к данной задаче не удаётся.

Что же касается факторного анализа и, в частности, метода главных компонент, то он фактически уводит нас от исходной задачи – сокращения мерности исходного факторного пространства. Действительно, хотя метод главных компонент позволяет так сконструировать новое факторное пространство, что его мерность окажется существенно меньше мерности исходного факторного пространства, а все факторы в этом новом пространстве будут ортогональны, то есть независимы друг от друга, но все эти новые факторы будут являться линейными комбинациями исходных факторных признаков, мерность пространства которых остаётся неизменной. Более того, все трудности, связанные с обращением исходной матрицы дисперсий-ковариаций или заменяющей её корреляционной матрицы, а также с неустойчивостью решений, получаемых при плохо обусловленных матрицах, здесь сохраняются в полной мере, только переносятся из модели главных компонент в процедуру вычисления линейного оператора, представляющего собой матрицу коэффициентов размерностью n×n, где n – число факторных признаков в исходном факторном пространстве, преобразующего исходное факторное пространство в факторное пространство главных компонент.

Таким образом, ни один из методов статистического анализа не позволяет эффективно решить задачу исключения незначимых и сильно коррелирующих между собой факторных признаков из первоначального избыточного факторного пространства.

Поэтому единственной приемлемой стратегией построения оптимальной регрессионной модели при большой начальной мерности факторного пространства является стратегия включения. Данная стратегия подразумевает пошаговое наращивание мерности пространства учитываемых моделью факторных признаков с анализом на каждом шаге степени оптимальности построенной модели. Таким образом, отсеивание малозначимых и сильно коррелирующих с уже включёнными в модель факторных признаков должно происходить в процессе построения регрессионной модели.

Алгоритм построения оптимальной регрессионной модели при использовании стратегии включения будет выглядеть следующим образом. На первом этапе строится оптимальная линейная регрессионная модель. Для этого применяется пошаговая процедура. На первом шаге строится однофакторная линейная модель. Совершенно очевидно, что отбор первого факторного признака не представляет затруднений. Среди однофакторных линейных моделей наилучшей будет та, в которой используется фактор, имеющий максимальный парный коэффициент корреляции с выходной величиной. Но уже на следующем шаге использовать парный коэффициент корреляции с выходной величиной в качестве критерия для отбора следующего факторного признака (для построения двухфакторной оптимальной модели) не представляется возможным, так как вполне вероятным может оказаться случай, что максимальным коэффициентом корреляции с выходной величиной будет обладать фактор, тесно коррелирующий с уже отобранным на первом шаге фактором. В этом случае полученная двухфакторная модель будет немного точнее, чем однофакторная, но окажется уже неустойчивой. Поэтому на втором шаге и последующих шагах следует поочерёдно включать каждый из оставшихся после первого шага факторов с построением соответствующих двухфакторных моделей, и по тому или иному критерию оптимальности модели выбирать среди них оптимальную. После этого, можно переходить к третьему шагу, и к двум уже выбранным факторам по очереди добавлять каждый из оставшихся, строя трёхфакторные модели и выбирая из них наилучшую и т.д. Причём критерий оптимальности модели используемый для выбора наилучшей модели на каждом шаге, должен быть пригоден и для сравнения наилучшей модели данного шага с наилучшей моделью предыдущего шага, с тем, чтобы определить: привело ли очередное наращивание мерности факторного пространства к существенному улучшению модели или нет. Тогда появляется возможность остановки алгоритма на том шаге, после которого прибавление следующих факторов уже не приводит к её существенному улучшению. Обсуждение подходящих для этого критериев оптимальности модели будет проведено в следующем параграфе.