4. Очистка данных

1. Парциальная предобработка

Парциальная предобработка служит для:

• редактирования аномальных значений;

• спектральной обработки данных (сглаживание данных, очистка от шумов);

• восстановления пропущенных данных.

В Deductor Studio используются алгоритмы, в которых каждое поле анализируемого набора обрабатывается независимо от остальных полей, то есть данные обрабатываются по частям. По этой причине такая предобработка получила название парциальной.

1. Редактирование аномальных значений

Аномалии – это отклонения от нормального (ожидаемого) поведения чего-либо. Это может быть, например, резкое отклонение величины от ее ожидаемого значения.

Для применения алгоритма удаления аномалий необходимо указать поле таблицы, к которому его нужно применить (которое содержит аномалии), и указать степень подавления аномальных данных – малую, среднюю или большую. Пример с аномалиями (рис. 1.27).

1) В качестве примера возьмем данные о продажах за некоторый период из файла Trade.txt, проект находится в файле L1_3.ded.

Как видно из диаграммы, выбросы ухудшают статистическую картину распределения данных. Воспользуемся Мастером обработки (рис. 1.28) и выберем Парциальную обработку.

2) На втором и четвертом шагах – Восстановление пропущенных данных

и Спектральный анализ выбираем опцию Отключить для обоих столбцов.

до обработки

после обработки

Рисунок 1.27 – Редактирование аномальных значений

Рисунок 1.28 – Мастер обработки

3) На третьем шаге выбираем поле Количество и указываем ему тип обработки Редактирование аномальных значений, степень подавления Большая. Так как больше никаких действий над данными не планировалось, то переходим на шаг запуска процесса обработки и нажимаем Пуск (рис. 1.29).

4) После выполнения процесса обработки на диаграмме видно, что выбросы уменьшились, и стала проясняться реальная картина продаж (рис. 1.30).

Рисунок 1.29 – Настройка параметров Парциальной обработки

до обработки

после обработки

Рисунок 1.30 – Результат Парциальной обработки

2. Спектральная обработка (сглаживание)

Сглаживание данных применяется для удаления шумов из исходного набора, а также для выделения тенденции, трудно обнаруживаемой в исходном наборе. Платформа Deductor Studio предлагает несколько видов спектральной обработки: сглаживание данных путем указания полос пропускания, вычитание шума путем указания степени вычитания шума и вейвлет-преобразования путем указания глубины разложения и порядка вейвлета.

Пример данных с шумом (рис. 1.31).

до обработки	сглаживания с полосой пропускания, равной 15
после применения вейвлет-преобразования с глубиной разложения 3 и порядком 6
Рисунок 1.31 – Пример данных с шумом

1. Продемонстрируем такой метод спектральной обработки, как вычитание шума. Для этого продолжим работу с данными файла Trade.txt файла L1_3.ded.

Теперь пропуская второй и третий шаги, на четвертом шаге Спектральная обработка выбираем поле Количество и указываем ему тип обработки Вычитание шума, степень подавления Большая. Так как больше никаких обработок не планировалось, то переходим на шаг запуска процесса обработки и нажимаем Пуск (рис.1.32).

2. После выполнения процесса обработки выберем в качестве визуализации диаграмму (рис. 1.33).

Рисунок 1.32 – Запуск процесса обработки

до обработки

после обработки

Рисунок 1.33 – Результат сглаживания данных

Как видно из примера, данные стали более сглаженными и могут служить для дальнейшей обработки. Взглянув на данные легко понять общую тенденцию.

3. Сохраните проект в файле L1_6.ded.