Очистка данных

С помощью «Парциальной предобработки» можно осуществить восстановление пропущенных данных, редактирование аномальных значений и спектральную обработку (сглаживание) данных.

В нашем случае пример по парциальной предобработке «TestForPPP.txt.txt» содержит столбцы: «Аргумент» – аргумент, «Синус» – имеются пропущенные данные (значение синуса от аргумента), «Синус с выбросами» – синус с выбросами (аномалии), «Синус с большими шумами» – синус с большими шумами, «Синус со средними шумами» – синус со средними шумами, «Синус с малыми шумами» – значение синуса с малыми шумами. Все вышеперечисленные графики можно просмотреть с помощью кнопки – «Отображать поля» на панели инструментов, выбирая тот или иной столбец. Оставляя график «Синус», выбирая поочередно аномалии, большие шумы, средние шумы, малые шумы просмотрите эти графики. Потом оставляйте только графика «Синус», остальные уберите.

Восстановление пропущенных данных

Если отсутствующие в столбце данные как в нашем случае упорядочены, то в качестве восстановления данных используют аппроксимацию. В случае, когда данные не упорядочены, прибегают к методу максимального правдоподобия, когда вместо пропущенных данных подставляют наиболее вероятные значения, основываясь на всей выборке.

Из диаграммы видно, что необходимо использовать мастер парциальной обработки. Выделяум узел «Текстовый файл (TestForPPP.txt)» и нажимаем на кнопку – Мастер обработки. На 2 шаге мастера выберем столбец «Синус» и укажем тип предобработки «Аппроксимация».

Метод предобработки определен, пропускаем оставшиеся типы обработки и переходим к запуску процесса обработки, нажимая кнопку «Пуск» запускаем процесса обработки.

Нажимаем кнопку «Далее». Указав вид отображения «Диаграмма», нажимаем кнопку «Далее» и выбрав столбец «Синус» и нажимаем кнопок «Далее» и «Готово», мы видим, что пропуски в данных восстановлены.

Удаление аномалий

Аномальные значения не позволяют понять статистическую картину данных и определить характер этих данных, так как содержат значения резко отклоняющиеся от ожидаемых. Для наглядности нажмите на кнопку – отображать поля, из всплывающего меню выберите «Аномалии». На графике столбца «Синус с выбросами» (аномалии) эти отклонения наглядно видны.

Применим предобработку «Удаление аномальных значений», в мастере парциальной обработки со степенью подавления - «Большая». Для этого выделим узел «Парциальная предобработка (Восстановление)» и нажмём кнопку – Мастер обработки. Выполним команду «Выбрать «Парциальная обработка»/Далее/Выделить поле «Синус»/указать для него тип обработки «Аппроксимация»/Далее/Выбрать редактирование аномальных значений – Аномалии, установить переключатель «Редактирование аномальных значений», степень подавления «большая»/Далее/Далее/Пуск/Далее/Выбрать способ отображение данных «Диаграмма» /Далее/Выбрать столбца диаграммы «Аномалии», тип «Линии»/Далее/Готово. Мы видим, что выбросы исчезли, остались небольшие «волнения», которые легко удалить с помощью спектральной обработки.

Спектральная обработка

Как видим из примера, данные необходимо сгладить. Сглаживание применяется для удаления шумов, способствуя выявлению тенденции, трудно видимой в исходном наборе. Deductor располагает следующими видами спектральной обработки: вычитание шума путем указания степени вычитания шума, сглаживание данных методом указания полосы пропускания и вейвлет преобразование путем указания глубины разложения и порядка вейвлета.

Вейвлет-преобразование (англ. Wavelet transform) — интегральное преобразование, которое представляет собой свертку вейвлет-функции с сигналом.

Cпособ преобразования функции (или сигнала) в форму, которая или делает некоторые величины исходного сигнала более поддающимися изучению или позволяет сжать исходный набор данных. Вейвлетное преобразование сигналов является обобщением спектрального анализа. Термин (англ. wavelet) в переводе с английского означает «маленькая волна», или «волны, идущие друг за другом». Вейвлеты – это обобщенное название математических функций определенной формы, которые локальны во времени и по частоте («маленькие»), и в которых все функции получаются из одной базовой, изменяя её (сдвигая, растягивая по оси времени (так что они «идут друг за другом»)).

Воспользуемся методом «Вейвлет преобразование» с параметрами по умолчанию (глубина разложения 3, порядок вейвлета 6).

Для этого выделим узел «Парциальная предобработка (Восстановление, Аномалии)» и нажмём кнопку – Мастер обработки. Выполним шаги, использованных в предыдущем пункте «Удаление аномалий»: «Выбрать «Парциальная обработка»/Далее/Выделить поле «Синус»/указать для него тип обработки «Аппроксимация»/Далее/Выбрать редактирование аномальных значений – Аномалии, установить переключатель «Редактирование аномальных значений», степень подавления «большая»/Далее/Установить способ спектральной обработки для «Аномалии» «Вейлет преобразование», глубина разложения 3, порядок вейвлета 6/Далее/Пуск/Далее/Выбрать способ отображение данных «Диаграмма» /Далее/Выбрать метку столбца диаграммы «Аномалии», тип «Линии»/Далее/Готово.

После соответствующей обработки, результат рассмотрим на визуализаторе «Диаграмма». Выбрав для сравнения график столбеца «Синус», используя кнопки – отображать поля, видим, что шумы были удалены. Оба графика имеют очень близкие значения в соответствующих аргументах.