3008

105

Наиболее удобна нормировка относительно допустимого диапазона изменения значений показателей. Для задачи (6.2) она определяется по следующей формуле:

Определение степени достоверности информационных сообщений при решении задачи (6.4) - (6.5) основано на концепции типичности, т.е. достоверность wn информационного сообщения считается тем выше, чем оно типичнее для данной ситуации (для всего ряда сообщений). Поскольку сведе-

геометрический подход, позволяющий рассматривать информационные сообщения как «созвездия» в i-мерном гиперпространстве признаков. Способ и адекватность решения зависят от дополнительных априорных данных о степени «засоренности» исходной выборки сообщений Gгр .

Если априорно известно, что выборка Gгр «засорена» мало, то право-

мерно предположить, что сообщения gn сгруппированы некоторым образом

симметрично относительно мнимого центра тяжести и с большей вероятностью наиболее достоверные сообщения располагаются на наименьшем рас-

стоянии от некоторого гипотетического обобщенного сообщения g0 с чис-

ленным набором сведений P 0 p10 , p02 ,..., pi0 ,..., p0I гр , где

S s1 , s2 ,..., sn ,..., sN гр от сообщений gn Gгр до обобщенного сообщения g0

106

с использованием той или иной адекватной по отношению к сведениям метрики, например евклидовой:

1/ 2

При этом степень достоверности сообщений gn

Если выборка Gгр «засорена» более значительно, например наполовину, то более правильно предположить асимметрию распределения фактов и тогда понятие обобщенного сообщения g 0 не может адекватным образом представить выборку Gгр . В этом случае предлагаются следующие процеду-

ры определения степени достоверности сообщений: с использованием той или иной адекватной по отношению к сведениям метрики, например евклидовой, вычисляются значения вектора суммарных расстояний

S s1 , s2 ,..., sn ,..., sN гр от каждого информационного сообщения до прочих

и аналогично (6.21) определяется степень достоверности сообщений. Если выборка Gгр сильно «засорена», но есть значимая вероятность

того, что группа достоверных информационных сообщений достаточно выражена в смысле гипотезы компактности по отношению к прочим возможным группировкам, то правомерен подход, основанный на классификационном (кластерном) анализе. Предлагаются следующие процедуры определения степени достоверности информации. Если объем выборки Gгр составляет

N гр , то организуется M N гр 2 итерационных цикла с индексами

C 2, N гр 1 . В каждом итерационном цикле осуществляется классификация выборки Gгр на C классов и для всех итераций подсчитывается hn - суммарное число включений каждого сообщения в классы KC объемом V C 2

107

При этом степень достоверности информационного сообщения gn

классов C осуществляется с использованием того или иного адекватного по отношению к сведениям метода «средней связи». Для этого с помощью выбранной метрики, например евклидовой, строят матрицу S взаимных расстояний между сообщениями с элементами матрицы

Далее сообщения классифицируются с использованием гипотезы компактности - сходные сообщения в гиперпространстве сведений располагаются в некотором смысле компактно, т.е. расстояния между сообщениями из одного класса меньше расстояний между центрами классов.

Объем множества Gф отфильтрованных сообщений в значительной мере зависит от установленного значения w0 .

Схема алгоритма информационной фильтрации приведена на рис. 6.1.

Точность моделей, построенных на основе статистических методов в значительной мере зависит от количества учитываемых параметров. Одновременно с увеличением числа параметров значительно возрастают затраты вычислительных ресурсов. Поэтому оптимальный выбор признакового пространства в значительной мере обеспечивает эффективность и качество функционирования алгоритмических схем. Критерием оптимальности является минимизация числа измеряемых параметров при условии обеспечения достаточной информативности выбранной параметрической системы. Степень оптимальности и корректности процедур минимизации определяют надежность и достоверность построенных моделей.

Существует эффективный метод минимизации информативной параметрической избыточности - метод «корреляционных плеяд». Его дальнейшее развитие и машинная адаптация - метод «дискретных корреляционных плеяд». Суть последнего метода заключается в формировании плеяд параметров со значимым признаком сходства и последующей заменой этих плеяд на единственный (головной) параметр, обладающий наибольшим весом по отношению к прочим.

При этом оказывается возможным установить функциональную зависимость каждого из параметров с головным параметром, что позволяет в даль-

Формирование исходной выборки

109

j1

иопределяется индекс строки im матрицы B для параметров с макси-

Далее осуществляется формирование im -ой корреляционной плеяды со значимыми дискретными оценками корреляции. В плеяду включаются пара-

онной матрицы B, определяемыми согласно (14), обнуляются, и процесс формирования плеяд повторяется, начиная с определения значений весов параметров согласно (6.13) до полного обнуления матрицы B.

Данный метод по сравнению с другими методами минимизации информативной избыточности наиболее прост и доступен для алгоритмизации. Его машинная адаптация не является трудоемкой и не влечет за собой значительных вычислительных затрат и ресурсов. Однако ему присущи существенные недостатки, обусловленные следующей причиной: поскольку в данном методе в качестве оценок сходства применяются значения коэффициен-

тов корреляции, то предполагается, что параметры P i объектов g должны

n n

иметь нормальный закон распределения. Данное ограничение является весьма существенным, поскольку зачастую невыполнимо.

110

Использование в качестве оценок мер сходства непараметрических робастных критериев, например коэффициентов ранговой корреляции Спирмена, также не обеспечивает их адекватности, поскольку данные оценки в ряде случаев являются приближенными.

Наиболее естественно для определения меры сходства (различия) воспользоваться геометрическим подходом. В этом случае сходство двух рядов чисел (значений параметров) отождествляется либо с расстоянием между ними, определенным с использованием той или иной метрики, либо со значением некоторой заранее заданной функции над заранее определенной метрикой. Для определения степени сходства (близости) двух рядов чисел

ства Gф , можно использовать такие метрические преобразования, как рас-

стояние Махаланобиса, евклидово и взвешенное евклидово, хеммингово расстояние. Степень близости при этом определяется путем сопоставления вычисленных расстояний с каким-то заранее определенным пределом. Объекты считаются похожими, если расстояние между ними не превышает этого предела, в противном случае - непохожими. При данном подходе невозможна строгая формализация понятия меры сходства как меры близости, поскольку степень сходства является зависимой как от значений параметров, так и от

фиксированном значении предела для разных значений коэффициента будут получены различные оценки сходства, хотя по аналогии с оценками корреляционного сходства они должны совпадать.

Существует другой подход, основанный на вычислении расстояний в признаковом пространстве с помощью некоторых специально устроенных

функций F( Pin, Pnj) , получивших название потенциальных. Эти функции

отношению к объекту Pnj . Однако, поскольку при этом ограничений на вид потенциальных функций не накладывается и признаковое пространство не фиксировано и не ограничено, полученные оценки не являются наглядными и так же как и в предыдущем случае не допускают эталонирования меры сходства.

111

Рассмотрим простую процедуру вычисления оценок степени сходства, свободную от указанных недостатков.

1. Значения признаков Pin (i 1, Iисх , n 1, N ф ) сводятся к единице в целях ограничения и фиксации признакового пространства:

n

2. Аналогично расстоянию по Хэммингу определяется интегральная разница в значениях нормированных признаков распределений по каждой паре:

3. По каждой паре признаков вычисляется значение степени сходства

qij 1 sij , (i, j 1, Iисх ).

Следует отметить, что коэффициент сходства q в основном аналогичен коэффициенту корреляции. В зависимости от значений признаков он принимает значения от -1 (что эквивалентно утверждению типа «абсолютно противоположен») до +1 (что эквивалентно утверждению типа «абсолютно поход»). Нулевое значение коэффициента q следует интерпретировать как абсолютную непохожесть, т.е. полное отсутствие какого либо сходства.

Данная аналогия позволяет осуществить эквивалентную замену в методе дискретных корреляционных плеяд коэффициента корреляции на приведенную непараметрическую оценку степени сходства.

На рис. 6.2 приведена схема алгоритма исключения параметрической избыточности.

Выбор исходного набора показателей Pi= P1i ,...,PNi ф i 1,I ИСХ

Значения показателей Pi имеют нормальный Закон распределения?

112

Рис. 6.2. Схема алгоритма исключения параметрической избыточности.

6.2. Оценка значимости факторов на основе метода множественной корреляции

114

зависимости; Определение приоритетности факторов основывается на сравнении пе-

речисленных коэффициентов. Для облегчения интерпретации полученных результатов проводится ранжирование факторов по величине каждой группы коэффициентов и рассчитывается средний ранг.

6.3. Построение математических моделей с использованием

регрессионного анализа

Регрессионный анализ может быть использован как для аппроксимации результатов имитационного моделирования, так и при обработке архивной информации с целью выявления зависимости между моделируемым показателем и набором воздействующих факторов.

Алгоритм построения регрессионных моделей состоит из следующих этапов.

1. На основе опроса экспертов определяется набор показателей X i

i 1, N , которые позволяют полностью идентифицировать состояние объ-

екта, а также, при необходимости, учесть индивидуальную неоднородность объектов.

2. Выделяется один или несколько контролируемых показателей j 1, M , изменение которых необходимо спрогнозировать.

3. В результате проведения дисперсионного анализа определяется, имеет ли место изменение выбранных контролируемых показателей Y j в

процессе воздействия на объект.

4.Для отбора достоверных измерений производится фильтрация информации.

5.Осуществляется оптимальный выбор признакового пространства за счет исключение параметрической избыточности.

6.Проверяется гипотеза о нормальном распределении значений показателей X i .

7.Производится выбор вида регрессионной модели (линейная, неполная квадратичная, квадратичная).

8.Вычисляются оценки коэффициентов уравнения регрессии.

9.Выполняется проверка их значимости и исключаются из модели незначимые коэффициенты.