
- •Оглавление
- •Введение
- •Импорт данных и способы визуализации
- •Обработка данных
- •Очистка данных
- •Восстановление пропущенных данных
- •Удаление аномалий
- •Спектральная обработка
- •Удаление шумов
- •Факторный анализ
- •Трансформация данных
- •Квантование
- •Группировка данных
- •Преобразование данных к скользящему окну
- •Примеры анализа данных
- •Прогнозирование умножения с помощью нейронных сетей
- •Классификация с помощью деревьев решений
- •Прогнозирование с помощью линейной регрессии
- •Кластеризация с помощью самоорганизующейся карты Кохонена
- •Поиск ассоциативных правил
- •Выявление дубликатов и противоречий
- •Автокорреляция
- •Прогнозирование временного ряда
- •Экспорт данных
Удаление шумов
Из-за присутствующих шумов в значениях общая тенденция поведения данных не видна, а при построении модели теряются важные обобщающие качества.
В примере, который у нас имеется, находятся столбцы: «Большие шумы», «Средние шумы» и «Малые шумы». Применим к данным столбцам в спектральной обработке метод «Вычитание шума» и укажем степень подавления – «Большая», «Средняя» и «Малая» соответственно.
Для этого выделим узел «Парциальная предобработка (Восстановление, Аномалии, Фильтрация (Вейвлет))» и нажмём кнопку – Мастер обработки. Выполним 4-х шагов, использованных в предыдущем пункте «Спектральная обработка»: «Выбрать «Парциальная обработка»/Далее/Выделить поле «Синус»/указать для него тип обработки «Аппроксимация»/Далее/Выбрать редактирование аномальных значений – Аномалии, установить переключатель «Редактирование аномальных значений», степень подавления «большая»/Далее/Установить способ спектральной обработки для «Аномалии» «Вейлет преобразование», глубина разложения 3, порядок вейвлета 6. Кроме того на 4-м шаге для способа спектральной обработки «Большие шумы» установим переключатель «Вычитание шума», степень вычитания шума – Большая; для «Средние шумы» установим переключатель «Вычитание шума», степень вычитания шума – Средняя; для «Малые шумы» установим переключатель «Вычитание шума», степень вычитания шума – Малая.
Выполнить команду «Далее/Пуск/Далее/Выбрать способ отображение данных «Диаграмма»/ Далее/Выбрать метки столбцов диаграммы «Большие шумы», «Средние шумы», «Малые шумы», тип «Линии».
Выполнить команду «Далее/Готово».
После обработке на диаграмме можно просмотреть результат.
В некоторых случаях неплохие результаты удаление шумов дает вейвлет преобразование .В мастере парциальной предобработки выберем поля «Большие шумы», «Средние шумы» и «Малые шумы», указав метод обработки «Вейвлет преобразование», параметры обработки остаются по умолчанию.
Для этого выделим узел «Парциальная предобработка (Восстановление, Аномалии, Фильтрация (Шумы))» и нажмём кнопку – Мастер обработки.
Выполним 4-х шагов, использованных в предыдущем пункте «Спектральная обработка»: «Выбрать «Парциальная обработка»/Далее/Выделить поле «Синус»/указать для него тип обработки «Аппроксимация»/Далее/Выбрать редактирование аномальных значений – Аномалии, установить переключатель «Редактирование аномальных значений», степень подавления «большая»/Далее/Установить способ спектральной обработки для «Аномалии» «Вейлет преобразование», глубина разложения 3, порядок вейвлета 6. Кроме того, для способов спектральной обработки «Большие шумы», «Средние шумы», «Малые шумы» поочередно установим переключатель «Вейлет преобразование», глубина разложения 3, порядок вейвлета 6.
Выполним команду Далее/Пуск/Далее/Выбрать способ отображение данных «Диаграмма» /Далее/Выбрать меток столбцов диаграммы «Большие шумы», «Средние шумы», «Малые шумы», тип «Линии»/Далее/Готово.
Результат сглаживания данных можно просмотреть на диаграмме.
Видим, что красный график – сглаженные большие шумы, желтый – сглаженные средние шумы и синий – сглаженные малые шумы.