Тема 2015_13 Управление качеством данных

№

Направление (Goal)

Цель (Objective)

Показатель (Measure)

1

Корректность (Accuracy)

Корректность числовых значений

Количество нарушений допустимых диапазонов и зависимостей

2

Корректность (Accuracy)

Корректность значений даты

Количество нарушений допустимых диапазонов и зависимостей

3

Корректность (Accuracy)

Корректность символьных значений

Количество нарушений правил шаблонов и регламентов

4

Полнота данных (Completeness)

Наличие необходимых справочников

Количество поддерживаемых справочников

5

Полнота данных (Completeness)

Наличие необходимых атрибутов справочников

Количество атрибутов справочников

6

Полнота данных (Completeness)

Наличие необходимых записей справочников

Количество записей справочников

7

Полнота данных (Completeness)

Отсутствие пустых значений

Количество значений NULL для обязательных полей

8

Полнота данных (Completeness)

Полнота внешних справочников

Количество расхождений с внешними данными

9

Полнота данных (Completeness)

Полнота классификаторов

Наличие значений «Прочие» на каждом уровне

10

Непротиворечивость (Consistency)

Корректная выгрузка/загрузка из/в КССС

Количество интерфейсов обмена НСИ между системами

11

Непротиворечивость (Consistency)

Корректное преобразование на шине

Количество расхождений при сверке

12

Непротиворечивость (Consistency)

Корректная работа интерфейсов

Количество переходов при обмене данными

13

Непротиворечивость (Consistency)

Корректная загрузка/выгрузка в/из ИС

Количество расхождений при сверке

14

Непротиворечивость (Consistency)

Своевременная ручная синхронизация

Количество расхождений при сверке

15

Непротиворечивость (Consistency)

Унификация форматов обмена

Количество разных форматов для тех же данных

16

Непротиворечивость (Consistency)

Допустимость значений атрибутов разных справочников;

Количество ошибок значений разных справочников

17

Актуальность данных (Currency)

Обеспечение работы интерфейсов с внешними системами

Количество интерфейсов, которые обеспечивают электронный обмен с

внешними системами

18

Актуальность данных (Currency)

Своевременная ручная актуализация основных данных

Количество своевременно обработанных заданий на актуализацию

19

Актуальность данных (Currency)

Своевременная ручная актуализация внешних данных

Количество протоколов обновления данных на основании внешних данных

20

Точность (Precision)

Обеспечение требуемой точности

Количество нарушений требуемой точности

21

Обоснованность (Reasonableness)

Соответствие контексту использования

Количество записей, несоответствующих реальным сущностям

22

Ссылочная целостность

Использование допустимых ссылок на вспомогательные

Количество записей без корректных ссылок

(Referential integrity)

справочники

23

Временная зависимость

Обеспечение согласованных исторических данных

Количество атрибутов, относящиеся к другим историческим данным,

(Timeliness)

пробелов в истории, ошибок версий

24

Временная зависимость

Обеспечение соответствия жизненного цикла разных

Количество действующих ссылок на заблокированные записи или имеющие

(Timeliness)

записей

другой статус жизненного цикла

25

Уникальность (Uniquiness)

Обеспечение непротиворечивости данных

Количество дублей или указания неверного статуса блокирования

Способ контроля качества данных

№

Показатель

Требование к справочнику в целом

Доку

мент

КССС

Внешняя система

ы

Текстовые и числовые поля содержат определенный набор символов, установленного

Проверка при вводе;

Проверка перед

1

корректность

Формат поля; Отчет по

формата и размерности

массовыми загрузками

валидации

Проверка количества

2

полнота

Все ТМЦ, используемые в бизнес-процессах должны присутствовать в справочнике, со

Проверка при вводе;

записей в

всеми обязательными атрибутами

Отчет по валидации

синхронизированных

ИСУ

Логически зависимые атрибуты (наборы атрибутов) записи должны быть

Сверка значений

непротиворечивы. (Например: вес, объем, БЕИ). Похожие по определенным критериям

непротиворечи

Метод

атрибутов записей с

3

записи, должны иметь схожие значения атрибутов (Например, все Прямогонные

вость

бензины относятся к классу "Бензины прямогонные" и не допустимо отнесение к

ика

синхронизированными

ИСУ

классам "Прочие продукты ГП", "Прочие продукты Нефтехимии")

Новые ТМЦ должны быть заведены заблаговременно до начала их использования в

4

актуальность

бизнес-процессах, при обнаружении некорректных данных соответствующие атрибуты

Регла

должны быть скорректированы. Срок исполнения редактором задания на создание

мент

нового\изменение существующего ТМЦ - 1 рабочий день

Проверка

5

точность

Наличие в наименовании всех характеристик, необходимых для однозначной

Метод

соответствия

идентификации. Заполнение числовых характеристик ТМЦ с заданной точностью.

ика

наименований

шаблонам

6

обоснованност

Создаются только ТМЦ, определенные организационными и техническими решениями

Метод

ь

ика

7

ссылочная

Ссылки указаны в описании атрибутов, все ссылки являются ссылками на действующие

Ссылки на действующие

целостность

записи справочников

записи справочников

историческое

Все неактуальные\некорректные данные должны иметь статус "Блокирована" или "На

Регла

Отчет по валидации,

8

проверка о наличии

соответствие

блокировании" и ссылку на действующую запись

мент

ссылки

Регла

Отчет по валидации,

Краткое наименование уникально для ряда записей. Для части записей уникальность

проверка уникальности

9

уникальность

определяется свзякой: "Наименование + ККП + фасовка + статус"

мент

для ГП "Наименование +

Проверка дублей

ККП + фасовка + статус"

10

унификация

Числовые и текстовые атрибуты хранятся в полях соответствующего типа

Формат поля

Всегда в движении!

Работы в целях улучшения качества данных в части

справочника ТМЦ и услуги

Отчет по качеству ТМЦ (Автохимия) от SAP, IBM, Informatica

Доработки

Отчет КССС, проверяющий каждую запись на соответствие настроенным валидациям

функционала

Исправление валидации по полям Вес Нетто, Объем тары, Кол-во в упаковке

систем

Механизм сохранения истории изменения записей справочника

Механизм сохранения истории изменения классов ключевых иерархий, используемых в

справочнике

Добавление обязательности поля "Группа акцизных пошлин" для готовой продукции

Удаление записей материалов для ЗРСО, неиспользуемых в КССС.Россия

Разовые

Проставлен\исправлен классификатор МТР у всех записей справочника

Исправлены некорректные значения в полях Вес Нетто, Объем тары, Кол-во в упаковке

работы по

Исправлен некорректно проставленный атрибут "товар для розничной реализации"

чистке данных

Заблокированы неактуальные\некорректные записи

Сверка данных с НПО в части НДС

Заполнение поля "Группа акцизных пошлин" для готовой продукции

Ежедневная проверка всех заданий по изменению данных от пользователей

10,22

Регулярные

Еженедельная проверка целостности данных справочника (сравнивается кол-во

работы по

записей)

0,05

контролю

Ежемесячный анализ результатов процедуры проверки качества данных и

качества

исправление данных

0,56

данных

Синхронизация данных из внешних справочников

0,05

Итого дополнительные регулярные работы по качеству данных, FTE

0,66