- •Университет машиностроения
- •Big Data и Data Mining
- •Что такое Экзабайт?
- •Миссия - обработать экзабайты
- •Где нужны Big Data?
- •Что такое Data Mining?
- •Проблема долговременного хранения данных
- •Выход (?):
- •Проблемы:
- •Современное решение:
- •Реляционная СУБД – система управления реляционной базой данных
- •Альтернатива:
- •Пример:
- •Аггрегирующие модели
- •Проектирование
- •IDEF — методологии семейства ICAM (Integrated Computer- Aided Manufacturing) для решения
- •Методика проектирования хранилищ данных
- •Использование связи между сущностями
- •Идентификация сущностей
- •Схема данных
- •Анализ потоков данных
- •Пример реализации схемы потоков данных
- •DFD-схема бизнес-процесса с учетом хранилищ данных
- •DFD-схема бизнес-процесса (для использования с IDEF1x)
- •Элементы методологии DFD в нотациях Г-С и Й-дМ
- •Пример DFD-диаграммы в IDEF-подшивке проекта
- •Университет машиностроения Кафедра «Автоматика и процессы управления»
- •МГМУ «МАМИ» Кафедра «Автоматика и процессы управления»
Реляционная СУБД – система управления реляционной базой данных
Примеры:
Ms SQL Server |
Oracle |
PostgreSQL MySQL
Ms Jet (Access)
SQLite
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Альтернатива:
Не(вполне)реляционные БД (noSQL DataBases)
Внедрение собственного скриптового языка для реализации методов внутри хранилища данных
Использование иерархически организованных хранилищ
Сериализация через JSON, XML
|
Хранилище |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Список |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
Значение |
|
|
|
|
|
|
Ключ :Значение |
|
|
|
Значение |
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Значение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Значение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Список |
|
|
|
|
Значение |
|
Значение |
|
|
|
Значение |
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Пример:
Реляционная модель
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Аггрегирующие модели |
|
|
|
|
Объектная (Именованная) |
|
Списочная (JSON) |
|
|
|
|
|
// Order document |
|
// Order document |
|
{ |
|
{ |
|
“id”:100, |
|
100, |
|
“customer_id”:1000, |
|
1000, |
|
“date”:01.05.2012, |
|
01.05.2012, |
|
“order_items”:[ |
|
{ |
|
{ |
|
{ |
|
“product_id”:55, |
|
55, |
|
“product_name”:”Iphone5”, |
|
”Iphone5”, |
|
“quantity”:2 |
|
2 |
|
}, |
|
}, |
|
{ |
|
{ |
|
“product_id”:56, |
|
56, |
|
“product_name”:”Ipad3”, |
|
”Ipad3”, |
|
“quantity”:1 |
|
1 |
|
}, |
|
}, |
|
], |
|
}, |
|
“payments”:[ |
|
{ |
|
{ |
|
{ |
|
“sum”:1000, |
|
1000, |
|
“date”:03.05.2012 |
|
03.05.2012 |
|
} |
|
} |
|
] |
|
} |
|
} |
|
} |
|
// Product document |
|
// Product document |
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Проектирование
Хранилищ данных
IDEF1
IDEF1x
DFD
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
IDEF — методологии семейства ICAM (Integrated Computer- Aided Manufacturing) для решения
задач моделирования сложных систем, позволяет отображать и анализировать модели деятельности широкого спектра сложных систем в различных разрезах
IDEF1 — Information Modeling — методология моделирования информационных потоков внутри системы, позволяющая отображать и анализировать их структуру и взаимосвязи.
IDEF1X (IDEF1 Extended) — Data Modeling — методология моделирования баз данных на основе модели «сущность- связь». Применяется для построения информационной модели, которая представляет структуру информации, необходимой для поддержки функций производственной системы или среды.
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Методика проектирования хранилищ данных
Пример: система учёта персонала (бухгалтерия)
СУЩНОСТИ
Имя сотрудника Оклад сотрудника Название отдела
СОТРУДНИК
Название отдела
|
|
|
|
|
|
Т |
В |
|
|
|
|
|
Е |
|
|
|
|
|
|
А |
|
|
|
|
|
|
Т |
|
|
|
|
|
|
О |
|
|
|
|
|
|
Б |
|
|
|
|
|
|
А |
|
|
|
|
|
|
|
Р |
|
|
|
|
|
|
|
ОТДЕЛ
СВЯЗЬ
Сущности – абстракции (шаблоны) используемых объектов Атрибуты – параметры (характеристики, свойства) объектов
Установка значений атрибутов приводит к созданию реализации сущности, т.е. появлению отображения реального
объекта в информационной системе
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Использование связи между сущностями
|
КЛЮЧЕВЫЕ АТРИБУТЫ |
|||||||
Название отдела |
|
|
|
|
|
|
|
Имя сотрудника |
|
|
|
|
|
|
|
|
Оклад сотрудника |
|
|
|
|
|
|
|
|
Название отдела |
|
|
|
|
|
|
|
Т |
В |
|
|
|
|
|
|
Е |
|
|
|
|
|
|
|
А |
|
|
|
|
|
|
|
Т |
|
|
|
|
|
|
|
О |
|
|
|
|
|
|
|
Б |
|
|
|
|
|
|
|
А |
|
|
|
|
|
|
|
|
Р |
|
|
|
|
|
|
|
ОТДЕЛ |
|
|
|
|
|
|
|
СОТРУДНИК |
|
МИГРИРУЮЩИЙ АТРИБУТ |
|||||||
Пример связи между сущностями по схеме один-ко-многим
Один экземпляр первой сущности (отдел) связан с
несколькими экземплярами второй сущности. Причем первая сущность называется родительской, а вторая - дочерней
Значение мигрирующего (внешнего) атрибута не хранится в записи, а получается через связь сущностей
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Идентификация сущностей |
||
ID отдела |
|
|
Название отдела |
СУРРОГАТНЫЙ АТРИБУТ |
|
ОТДЕЛ |
||
|
||
РАБОТАЕТ В |
КЛЮЧЕВОЙ АТРИБУТ |
|
ID сотрудника |
||
|
||
Имя сотрудника |
|
|
Оклад сотрудника |
НЕКЛЮЧЕВЫЕ АТРИБУТЫ |
|
Название отдела |
|
|
СОТРУДНИК |
МИГРИРУЮЩИЙ АТРИБУТ |
|
Суррогатный атрибут (ID) отсутствует у объекта-прототипа и создается для решения технических задач
Естественный ключ образуется самими данными
Составной ключ образуется сочетанием нескольких атрибутов Суррогатный ключ – искусственное образование для
обеспечения уникальности объекта
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
Схема данных
|
|
|
|
|
|
|
|
|
Мощность связи |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
ID сотрудника |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
ID отдела |
|
|
|
|
|
|
Имя сотрудника |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
Оклад сотрудника |
|
|
|
|
|||
|
|
Название отдела |
|
|
|
|
|
М |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
ID отдела |
|
|
|
|
||
|
|
ОТДЕЛ |
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
СОТРУДНИК |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
Одинаковые значения в |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
реализациях (объектах) |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
образуют связь |
|
|
|
|
|
|
|
|||||
Отделы |
|
|
|
|
|
|
|
|
|
Сотрудники |
||||||||
ID отдела |
|
Название отдела |
|
ID сотрудника Имя сотрудника |
ID отдела |
|||||||||||||
1 |
|
|
|
|
|
|
|
|
|
|
||||||||
|
Бухгалтерия |
|
|
|
|
1 |
|
Иванов И.И. |
|
1 |
||||||||
2 |
|
|
|
|
2 |
|
Петров П.П. |
1 |
||||||||||
Адм.-хозяйственный |
|
|||||||||||||||||
3 |
|
Статистики |
|
|
|
|
3 |
|
Сидоров С.С. |
2 |
||||||||
|
|
|
|
|
4 |
|
Кольцов А.С. |
3 |
||||||||||
4 |
|
Прогнозирования |
|
|||||||||||||||
|
5 |
|
Сергеев Б.А. |
2 |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||
Информатика. 1 семестр. Тема 12. IDEF1 и SQL
