Данная методика позволяет исключить сбойные результаты в экспериментах на основе адаптивных (последовательных) процедур. Адаптивность в данном случае означает отбрасывание случайных результатов до тех пор, пока численные характеристики случайной величины будут изменяться незначительно.

Построение линейной гиперплоскости для большого числа переменных не представляет сложной задачи и решается методами линейной алгебры.

1.5.2. Пример удаления сбойных результатов

На рис. 1.15 изображено множество точек из некоторой области. Видно, что точка 54 дает сбойный результат.

Рис. 1.15. Исключение сбойных результатов методом Тьюки

1.6. Исключение аномальных результатов измерений в Deductor

Для выполнения этой процедуры необходимо следующее.

1.Импортировать структурированный текстовый файл с разделителями, содержащий исходные данные (подробно изложено в 1.4).

2.Выбрать метод обработки редактирования выбросов и экстремальных значений для неупорядоченного набора данных.

3.Провести анализ полученных результатов (рис. 1.16 – исходный набор данных с аномальным результатом); (рис. 1.17 – результаты редактирования выбросов и экстремальных значений в Deductor).По результатам анализа выявить аномальный результат и результаты его редактирования.

22

Рис. 1.16. Исходный набор данных с аномальным результатом в столбце x6

Рис. 1.17. Результаты редактирования выбросов

иэкстремальных значений в Deductor

1.7.Определение главных компонент дискретного конечного множества элементов

Задача сжатия (компрессии) данных состоит в уменьшении количества хранимой или передаваемой информации с возможностью ее полного восстановления (декомпрессии). В Deductor задача решается на основе формирования нейронной сети. Рассмотрим метод формирования главных компонент на основе нейронной сети.

23

1.7.1. Искусственные нейронные сети. Понятие искусственного нейрона

Искусственный нейрон [2, 7] можно представить в следующем виде (рис. 1.18).

Рис. 1.18. Искусственный нейрон

На рис 1.18 F – функция активации, y = F(d). Виды F.

1. Линейная функция активации

F(d)=K·d.

2. Сигмоидальная (S-образная) функция: a) логистическая функция (рис. 1.19).

Эта функция математически выражается как

Рис. 1.19. График сигмоиды

24

б) гиперболический тангенс (рис. 1.20):

F(d) = ed - e− d . ed + e− d

Рис. 1.20. График гиперболического тангенса 3. Релейная характеристика функции активации

Будучи соединенными определенным образом, нейроны образуют нейронную сеть (рис. 1.21, рис. 1.22). Любая нелинейная функция с конечным числом разрывов может быть аппроксимирована с помощью большого количества нейронов.

Рис. 1.21. Однослойные искусственные нейронные сети

25

Рис. 1.22. Многослойные искусственные нейронные сети

Любая многослойная нейронная линейная сеть может быть заменена эквивалентной однослойной сетью. Однако однослойные сети ограничены по своим вычислительным возможностям. Для расширения возможностей сетей по сравнению с однослойными сетями необходима нелинейная функция активации. Сети более общего вида, имеющие соединения от выходов к входам, называются сетями с обратными связями.

1.7.2.Обучение сети.

Постановка задачи обучения сети с учителем

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети. Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки нейронной сети (НС) является величина

где y(jN, p) – реальное выходное состояние нейрона j выходного слоя N

нейронной сети при подаче на ее входы p-го образа; dj,p – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

26

D ω ij( n) = - η × ¶∂ωEij .

Здесь ωij – весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n – 1 с j-м нейроном слоя n, η – коэффициент скорости обучения, 0< η <1.

1.7.3.Обучение сети. Минимизация многомерной функции на основе метода Давидона–Флетчера–Пауэлла

Процесс управления предполагает изменение некоторых управляемых величин. Оптимальное управление требует при этом, чтобы некоторая целевая функция (ее также называют критерием или показателем качества) принимала максимальное или минимальное значение. В общем случае целевая функция зависит от многих параметров:

Определение оптимального управления сводится к поиску такого набора численных значений переменных, при котором функция Ф достигает экстремального значения. Для определенности будут рассматриваться только минимумы функции.

Функцию можно задавать в виде точного описания последовательности операций над численными значениями переменных X1, X2,…, Xn. Функция должна обладать свойством однозначности, т.е. при любом наборе численных значений X1, X2,…, Xn принимать только одно значение.

Будем считать набор численных значений X1, X2,…, Xn координатами некоторой точки n-мерного пространства, которую можно представить век-

тором X T (X1, X 2 ,..., X n ). Для такой точки можно подсчитать значения функции Ф(X ) . Выделим из совокупности точек n-мерного пространства

те точки, которым соответствуют равные значения функции Ф(X ) = Ф0 ,

где Ф0 – некоторое численное значение. Геометрическое место точек с равными значениями функции называют поверхностью равного уровня. Изменив уровень Ф0 функции, получим другую поверхность равного уровня, причем различные поверхности равных уровней вложены одна в другую, но нигде не соприкасаются. Отсутствие общих точек у этих поверхностей непосредственно следует из свойства однозначности функции.

Градиентом функции будем называть вектор

27

X0 = ( X10 , X 20 ,..., X n0 )T .

Вn-мерном пространстве градиент направлен перпендикулярно

(нормально) к поверхности равного уровня в точке X 0 и указывает направление наискорейшего возрастания функции. Противоположный по направлению вектор (- Ñ Ф), называемый антиградиентом, дает направ-

ление наискорейшего убывания функции. В различных методах поиска минимума функции можно выделить два основных этапа: определение направления и минимизацию функции в этом направлении. Методы минимизации многомерных функций различаются способами реализации этих этапов. В одних методах векторы направлений наперед заданы (координатный спуск в методе Гаусса-Зейделя), а в других выбор направления зависит от поведения функции, как, например, в рассматриваемом градиентном методе Давидона–Флетчера–Пауэлла (ДФП). Второй этап – минимизация функции в выбранном направлении – представляет собой одномерный поиск и наиболее трудоемкую часть процесса. Рассмотрим теперь подробнее

градиентный метод ДФП. Исходные данные: начальная точка поиска X 0 ,

градиент функции Ñ Ф(X 0 ), градиент функции в начальной точке норми-

руется.

Начальная матрица n×n, равная единичной матрице, H(1,1) = E[1,1]; ε – коэффициент, задающий точность одномерного поиска; – точность поиска минимума функции.

минимума функции. По его результатам определяем положение оптимальной конечной точки на этом направлении: X i = X i− 1 + α mξ i ;

δ i = α mξ .

Начальное значение шага одномерного поиска α0 принимается равным 1, если выполняется условие Ф(α = 1) ≤ Ф(α = 0) , иначе величина α0 уменьшается. Регулировка масштаба одномерного поиска заложена в формуле (1.5), так как величина модуля ξ i зависит от модуля градиента и

по мере приближения к минимуму функции неограниченно убывает. Уменьшение шага поиска по мере приближения к минимуму многомер-

28

ной функции является необходимым, иначе трудно будет достаточно точно определить координаты этого минимума.

3. Вычисляем градиент Ñ Ф(X ) и приращение градиента

5. Переходим на этап 1 с новыми начальными условиями.

Отметим некоторые вычислительные особенности метода ДФП. Метод подвержен накоплению ошибок, вследствие чего рекомендуется время от времени «забывать» накопленную информацию и начинать вычислительный процесс заново. Для этого необходимо предусмотреть «обновление» расчетов. Оно заключается в замене с некоторой перио-

дичностью (обычно через n или 2n итераций) текущей матрицы H¬ еди-

ничной матрицей Е¬ . При обновлении на каждой итерации метод ДФП

превращается в метод наискорейшего спуска.

При расчете первая производная функции по некоторому параметру Xi заменяется первой разделенной разностью

Для метода ДФП рассматриваются 2 варианта реализации, которые различаются только методами одномерного поиска. В первом варианте применяется метод золотого сечения, во втором – квадратичная аппроксимация. Рассмотрим кратко эти методы.

Сокращение интервала неопределенности методом золотого сечения

Название метода указывает на его связь с золотым делением отрезка, т.е. таким делением отрезка на две неравные части на X и Y (X > Y),

при котором X /Y = (X + Y ) / X = τ , где τ = (5 + 1)/ 2 = 1,618 .

29

Для нахождения минимума функции необходимо, прежде всего, определить интервал неопределенности, т.е. отрезок на прямой, внутрь которого попадает точка Xm с минимальным значением функции Ф(Xm). Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести переменный шаг в (1.5):

если при этом происходит убывание функции.

На рис. 1.23 изображена последовательность точек α0, α1, α2, полученная согласно алгоритму (1.9).

Рис. 1.23. Последовательность точек α

Из рисунка видно, что интервал неопределенности лежит между точками α0 и α2. Выберем новую точку α3 так, чтобы получить золотое сечение

интервала неопределенности (α 3 − α 0 ) /(α 2 − α 3 ) = τ (рис. 1.24).

Рис. 1.24. Сокращение интервала неопределенности

Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска

ε – коэффициент, задающий точность одномерного поиска.

30

Сокращение интервала неопределенности методом квадратичной аппроксимации

В основе метода лежит аппроксимация функции Ф.(α) квадратичным полиномом. Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести, как и ранее, переменный шаг αi в (1.5):

где α0 = 1, если при этом происходит убывание функции, α –1 = 0, τ – коэффициент, численное значение которого в начале одномерного поиска равно нулю, а затем возрастает на 1 через каждые R шагов. Пусть произведены измерения функции в точках α0, α1, α2 согласно алгоритму. Интервал неопределенности лежит между точками α0 и α2 (рис. 1.23). Для сокращения интервала заменяем реальную функцию Ф (α) аппроксимирующей функцией Фапр(α), которая проходит через те же точки α0, α1, α2,

Фапр(α)=aα2 + bα + c и имеет координату минимума αопт= – b/(2a). Причем точка α3=αопт (рис. 1.24) попадает внутрь интервала неопреде-

ленности α2 – α0.

Новый интервал неопределенности уменьшился и стал равным α2 – α1. Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска.

Именно такие алгоритмы являются основой численных методов, заложенных в распространенные математические пакеты прикладных программ (MS Excel, Mathcad, Matlab и т.д.).

1.7.4. Структура нейронной сети для сжатия данных

При построении сети (рис. 1.25) необходимо выполнить следующие условия.

1.Входной и выходной слои имеют одинаковую размерность.

2.Скрытый слой определяется числом главных компонент M < N, т.е. уменьшаем размерность данных с N до M.

Рис. 1.25. НС для сжатия данных

31

Например, М = 2, N = 4. Согласно схеме (рис. 1.25) составим таблицы для решения задачи в пакете Excel.

На основе полученных результатов (критерий качества удовлетворительно мал) можно сделать вывод, что двух главных компонент достаточно для представления объекта исследования. Главные компоненты определяются выражением Y = w*x. При этом оценка входных параметров Xa = WT*Y близка к исходным значениям X (Табл. 1.4).

32

1.7.5. Определение главных компонент дискретного конечного множества элементов.

Реализация метода с помощью Deductor

Для выполнения этой процедуры необходимо следующее.

1. Импортировать структурированный текстовый файл с разделителями, содержащий исходные данные (подробно изложено в п. 1.4) (рис. 1.26).

Рис. 1.26. Импортирование данных из текстового файла

2. Выбрать метод обработки «нейронная сеть» с выбранным количеством главных компонент (число нейронов в скрытом слое). Произвести настройку столбцов (рис. 1.27) – указать входные и выходные столбцы.

Рис. 1.27. Настройка столбцов

33

3. Провести анализ полученных результатов на основе использования диаграмм рассеяния с числом главных компонент 2 (рис. 1.28), с числом главных компонент 4 (рис. 1.29).

Рис. 1.28. Диаграмма рассеяния X для нейросети [6*2*6]

Рис. 1.29. Диаграмма рассеяния X для нейросети [6*4*6]

34

При принятии решений по выбору числа главных компонент полезным инструментом является выбор структуры нейронной сети (рис. 1.30).

Рис 1.30. Выбор структуры нейронной сети

1.8.Очистка данных. Оперативное оценивание параметров модели регрессии при наличии аномальных данных. Основные теоретические положения

Автоматическое редактирование аномальных значений используется в рядах, где данные упорядочены, и осуществляется с применением методов робастной фильтрации, в основе которых лежит использование робастных статистических оценок, таких, например, как медиана. При этом можно задать эмпирически подобранный критерий того, что считать аномалией. Например, задание в качестве степени подавления аномальных данных значения «слабая» в Deductor означает отношение к величине допустимых выбросов.

В реальных системах обработки информации оценки bˆ вектора регрессионных коэффициентов b для модели

где X[m] – вектор наблюдаемых линейно независимых факторов, b – вектор неизвестных и подлежащих оценке параметров, ε[m] – помеха типа

35

белого шума, приходится проводить в условиях аномальных измерений (АИ) Y(l), l ( n − N, n ).

1.8.1. Метод выделения результата аномальных измерений

В основу алгоритма положен итеративный метод решения на основе метода наименьших модулей. При этом оценка bˆ , полученная на основе N результатов измерения, имеет вид

вычисления оценок по формулам (1.12) – (1.15) проводятся итерационно до тех пор, пока изменения оценок за одну итерацию не достигнут заданной малой величины. При этом наименьший весовой коэффициент R[m] указывает на наиболее грубое m-е измерение. Для оценки достоверности полученной модели применяется критерий Фишера.

Критерий Фишера:

F = SSγ β : SSδ R ,

где γ = r – число факторов, δ = G – r – 1, G – число экспериментов,

чения данных, SSR = åG (Yi −YAi )2 – разброс данных вокруг линии

i= 1

регрессии.

36

1.8.2.Оперативное оценивание параметров модели регрессии при наличии аномальных результатов измерений. Реализация очистки данных путем выделения аномального результата измерения с помощью Deductor

Для выполнения этой процедуры необходимо следующее:

1. Импортировать структурированный текстовый файл с разделителями, содержащий исходные данные, упорядоченные данные YP (рис. 1.31) (подробно изложено в п. 1.4).

Рис. 1.31. Импортирование данных из текстового файла

2. Выбрать метод обработки «Редактирование выбросов и экстремальных значений»; обрабатывать как упорядоченный набор данных (заменить выброс медианой) (рис.1.32).

Рис. 1.32. Метод обработки «Редактирование выбросов и экстремальных значений»

37