48. Семантический слой. Назначение. Состав. Кто и в какой последовательности их формирует? Примеры.
Схема данных в БД, цель оптимизированно хранить данные = Семантический слой в ХД, цель связать данные между собой для оптимальной обработки пользователем
Поверх
реляционной БД реализован специальный
семантический слой, который
преобразует реляционное представление
к многомерному. Информация о принадлежности
данных к тому или иному типу (измерение,
атрибут или факт) содержится в семантическом
слое хранилища.
Для каждого процесса свой семантический слой
Назначение: семантический слой является структурой данных в хранилище. Создается в пустом хранилище до импорта данных.
Основные элементы: процесс (действие), измерения (аргументы), факты(значения функций), атрибут измерения (дополнительная характеристика), атрибут процесса (характеризует экземпляр процесса).
Формирование семантического слоя:
1. сначала пользователь говорит, какой процесс его интересует, какие данные нужны
2. администратор занимается поиском по БД и утверждает с пользователем найденные данные - параметры процесса
3. часть этих параметров пользователь выносит в измерения, часть - в факты
4. затем добавляются атрибуты процесса и атрибуты измерения
5. формируется процесс
Запрос к хранилищу осуществляется сквозь семантический слой, который через внутреннюю систему команд (скрытую от пользователя и аналитика) подбирает запрашиваемую информацию из многообразия хранимых данных.
Работу семантического слоя можно сравнить с деятельностью библиотекаря, который по просьбе читателя достает с разрозненных полок книги и раскрывает их на нужных страницах.
49. Куб, "звезда" и "снежинка". Назначение. Связь с семантическим слоем. Примеры.
Многомерная модель данных визуально представляется с помощью куба (или в случае более 3х измерений — гиперкуба). Если измерение дискретное, то ось можно разбить на несколько вложенных измерений (Группа 1, группа 2, группа 3. Товар 1, 2, 3….). Если измерения изменяются дискретно, то вместо точки получаем кубик оси которого откладываются на оси большого куба
Схемы – фрагменты семантического слоя, позволяющие отобразить зависимости измерений.
Назначение куба: хранение и анализ многомерных данных; используется для быстрого доступа к агрегированным данным по различным измерениям.
У каждого процесса есть своя структура - звезда или снежинка.
Назначение схем: Организация данных и организации структуры семантического слоя.
Схема "звезда" — в центре находится таблица фактов (например, продажи), содержащая числовые данные, которая связана с таблицами измерений (например, время, клиент, продукт), которые содержат справочную информацию. Каждая таблица измерений напрямую связана с таблицей фактов, что упрощает запросы и повышает производительность.
Схема "снежинка" является более сложной и нормализованной версией схемы "звезда". В ней таблицы измерений могут быть дополнительно разбиты на подтаблицы, что создает иерархическую структуру. Например, таблица "Продукт" может быть разделена на подтаблицы "Категория" и "Производитель". Это позволяет более эффективно организовывать данные и уменьшать избыточность, но может усложнить запросы, т.к для получения информации может потребоваться больше соединений между таблицами.
Связь с семантическим слоем:
Куб: В OLAP-кубе семантика данных задаётся иерархиями измерений, которые отражают смысловые отношения между объектами предметной области и позволяют перемещаться между разными уровнями детализации данных.
Звезда: Таблицы измерений формируют семантический слой, предоставляя контекст для данных в таблице фактов.
Снежинка: Как и звезда, содержит таблицы измерений, образующие семантический слой, но с дополнительной сложностью за счет вложенных иерархий.
Обе схемы используются в зависимости от потребностей системы: схема "звезда" — для быстроты и простоты, а схема "снежинка" — для экономии места и уменьшения дублирования.
В схеме «звезда» измерение может ссылаться только на таблицу фактов, а в «снежинке» измерение может ссылаться на другие измерения, которые в свою очередь ссылаются на таблицу фактов.
50. Технология OLAP анализа. Куб. Кросс-таблица. Кросс-диаграмма. Назначения. Отличия от классических таблиц и диаграмм. Связь кросс-таблицы и кросс-диаграммы с кубом и семантическим слоем. Примеры.
OLAP - многомерный способ представления данных.
Технология позволяет осуществлять многомерный анализ данных, в OLAP системах предварительно подготовленная информация преобразуется в форму многомерного куба. Положение куба определяется измерениями, а оси внутри куба – это факты.
OLAP-обработка выполняется самостоятельно пользователем с целью выявления интересующих зависимостей фактов от измерений. Основные компоненты OLAP включают кубы, кросс-таблицы и кросс-диаграммы.
Куб — это многомерное представление данных, которое позволяет выполнять быстрые агрегаты и срезы по разным измерениям. Куб хранит данные в виде многомерной матрицы, где каждая ячейка соответствует конкретному значению.
Благодаря чему можем положить два и более измерений на одной оси:
Дискретные измерения на оси (можно ее разделить на отрезки). Непрерывную ось можно привести к дискретному виду (указать отрезки, например роста)
Вложенность измерений
Фактом процесса может служить любое значение (например цвет упаковки товара, значение посещения кабинета в определенное время). Если анализируем несколько фактов, то должны быть заголовки.
Две формы выявления:
Кросс-таблица — способ представления многомерных данных на двумерной плоскости. Следовательно, прежде чем строить эту таблицу, необходимо указать измерения и факты.
Например измерения – Месяц, Товар.Наименование, Товар.Группа, а факт – Количество (проданного товара).
Кросс-таблица отличается от обычной плоской таблицы наличием нескольких уровней вложенности = многомерная (например, допускает разбиение строк на подстроки, а столбцов на подстолбцы) и тем, что она управляемая (пользователь может добавить/убирать те факты, которые ему нужны)
Кросс-диаграмма — это графическое представление данных, построенное на основе куба. Кросс-диаграммы нужны для визуального сравнения, тогда как в таблицах мы видим конкретные значения по всем измерениям.
Отличие кросс-диаграмм и кросс-таблиц от классической в том, что она управляемая (те используются все данные, но отображаем те, которые нужны).
Отличия от классических таблиц и диаграмм. Существует вложенность данных (иерархия измерений).
Связь с семантическим слоем: Кросс-таблица и кросс- диаграмма строятся на основе куба, используя его измерения и факты. Измерения определяют оси таблицы, а факты заполняют ячейки. Семантический слой определяет смысл этих данных.
Примеры использования OLAP могут включать анализ динамики продаж в аптечной сети, где можно отслеживать, какие товары продаются лучше всего в разные сезоны, в каких аптеках наблюдается наибольшая загруженность, и как различные факторы влияют на общие продажи.