Екзаменаційні питання з курсу «Інтелектуальний аналіз даних».
Задачі систем підтримки прийняття рішень.
Для виконання аналізу СППР повинна накопичувати інформацію, володіючи засобами її введення та зберігання. Таким чином, можна виділити три основні завдання, які вирішуються в СППР:
введення даних;
зберігання даних;
аналіз даних.
Введення даних у СППР здійснюється або автоматично від датчиків, які характеризують стан середовища або процесу, або людиною-оператором.
Постійне накопичення даних призводить до безперервного росту їх обсягу. У зв'язку з цим на СППР лягає завдання забезпечити надійне зберігання великих обсягів даних.
Основне завдання СППР - надати аналітикам інструмент для виконання аналізу даних. Система не генерує правильні рішення, а тільки надає аналітику дані у відповідному виді (звіти, таблиці, графіки і т. п.) для вивчення та аналізу, саме тому такі системи підтримують виконання функції підтримки прийняття рішень.
Узагальнена архітектура системи підтримки прийняття рішень.
Підсистема введення даних. У таких підсистемах, званих OLTP реалізується операційне (транзакційне) оброблення даних. Для їх реалізації використовують звичайні СКБД.
Підсистема зберігання. Для реалізації даної підсистеми використовують сучасні СУБД і концепцію сховищ даних.
Підсистема аналізу. Дана підсистема може бути побудована на основі:
підсистеми інформаційно-пошукового аналізу на базі реляційних СУБД і статичних запитів з використанням мови SQL;
підсистеми оперативного аналізу. Для реалізації таких підсистем застосовується технологія оперативної аналітичної обробки даних OLAP, що використовує концепцію багатовимірного подання даних;
підсистеми інтелектуального аналізу. Дана підсистема реалізує методи і алгоритми Data Mining ("добування даних").
Дванадцять правил е.Кодда для реляційних бд.
1. Дані представляються у вигляді таблиць - БД являє собою набір таблиць. Таблиці зберігають дані, згруповані у вигляді рядів і колонок. Ряд являє собою набір значень, що відносяться тільки до одного об'єкту, що зберігається в таблиці, і називається записом. Колонка передставляє собою одну характеристику для всіх об'єктів, що зберігаються в таблиці, і називається полем. Комірка на перетині рядка і колонки являє собою значення характеристики, що відповідає колонці для елемента відповідного ряду.
2. Дані доступні логічно-реляційна модель не дозволяє звертатися до даних фізично, адресуючи комірку за номерами колонки і рядка. Доступ до даних можливий тільки через ідентифікатори таблиці, колонки та рядка. Ідентифікаторами таблиці і колонки є їх імена. Вони повинні бути унікальні. Ідентифікатором рядка є первинний ключ.
3. NULL трактується як невідоме значення-якщо в комірку таблиці значення не введено, то записується NULL. Його не можна плутати з порожнім рядком або зі значенням 0.
4. БД повинна включати в себе метадані - БД зберігає два види таблиць: користувацькі таблиці та системні таблиці. У користувацьких таблицях зберігаються дані, введені користувачем. У системних таблицях зберігаються метадані: опис таблиць (назва, типи і розміри колонок), індекси, збережені процедури і інші.
5. Повинен використовуватися єдина мова для взаємодії з СУБД -. В даний час таким інструментом стала мова структурних запитів - SQL.
6. СУБД повинна забезпечувати альтернативний вид відображення даних- Користувач повинен мати можливість будувати віртуальні таблиці - представлення (View). Представлення є динамічним об'єднанням декількох таблиць. Зміни даних у представленні повинні автоматично переноситися на початкові таблиці (за винятком нередагованих полів у представленніі, наприклад обчислюваних полів).
7. Повинні підтримуватися операції реляційної алгебри-записи реляційної БД трактуються як елементи множини, на яких визначені операції реляційної алгебри. СУБД повинна забезпечувати виконання цих операцій.
8. Повинна забезпечуватися незалежність від фізичної організації даних-додатки, які оперують з даними реляційних БД, не повинні залежати від фізичного зберігання даних (від способу зберігання, формату зберігання та ін.)
9. Повинна забезпечуватися незалежність від логічної організації даних- При зміні зв'язків між таблицями не повинні змінюватися ні самі таблиці, ні запити до них.
10. За цілісність даних відповідає СУБД-під цілісністю даних в загальному випадку розуміється готовність БД до роботи. Розрізняють такі типи цілісності:
• фізична цілісність - збереження інформації на носіях і коректність форматів зберігання даних;
• логічна цілісність-несуперечність і актуальність даних, що зберігаються в БД.
Розрізняють два способи забезпечення цілісності: декларативний і процедурний. При декларативному способі цілісність досягається накладенням обмежень на таблиці, при процедурном - забезпечується з допомогою збережених у БД процедур.
11. Цілісність даних не може бути порушена - СУБД має забезпечувати цілісність даних при будь-яких маніпуляціях, виконаних з ними.
12. Повинні підтримувати розподілені операції-реляційна БД може розміщуватися як на одному комп'ютері, так і на декількох . Користувач повинен мати можливість пов'язувати дані, що знаходяться в різних таблицях і на різних вузлах комп'ютерної мережі. Цілісність БД повинна забезпечуватися незалежно від місць зберігання даних.
Поняття OLTP системи.
OLTP-системи оперативної обробки транзакцій, основною задачею яких є забезпечення виконання операцій з БД. Такі системи досить успішно вирішують завдання збору, зберігання і пошуку інформації, але вони не задовольняють вимогам, що пред'являються до сучасних СППР.
Неефективність використання OLTP систем для аналізу даних: степінь деталізації даних, що зберігаються.
Ступінь деталізації збережених даних - типовий запит в OLTP-системі, як правило, вибірково зачіпає окремі записи в таблицях, які ефективно витягають за допомогою індексів.
Неефективність використання OLTP систем для аналізу даних: якість даних.
Якість даних - OLTP-системи, як правило, зберігають інформацію, яка вводиться безпосередньо користувачами систем (операторами ЕОМ). Присутність '' людського фактора "при введенні підвищує ймовірність помилкових даних і може створити локальні проблеми в системі. При аналізі помилкові дані можуть привести до неправильних висновків і прийняття неправильних стратегічних рішень.
Неефективність використання OLTP систем для аналізу даних: формат збереження даних.
Формат зберігання даних - OLTP-системи, що обслуговують різні ділянки предметної області, не пов'язані між собою. Вони часто реалізуються на різних програмно-апаратних платформах. Одні і ті ж дані в різних базах можуть бути представлені в різному вигляді і можуть не співпадати (наприклад, дані про клієнта, який взаємодіяв з різними відділами компанії, можуть не збігатися в базах даних цих відділів). У процесі аналізу таке розходження форматів надзвичайно ускладнює спільний аналіз цих даних. Тому до систем аналізу пред'являється вимога єдиного формату.