Основи організації автоматизованого банку даних
Автоматизований банк даних (АБД) – це система інформаційних, математичних, програмних, мовних, організаційних і технічних засобів, які необхідні для інтегрованого нагромадження, зберігання, актуалізації, пошуку і видачі даних.
Основними складовими компонентами АБД є база даних і система керування базою даних (СКБД).
База даних – це пойменована, структурована сукупність взаємопов’язаних даних, які характеризують окрему предметну область і перебувають під управлінням СКБД.
СКБД є програмно-логічним апаратом, який організує систему створення, оновлення і розв’язування основного компонента інтегрованої ІБ-системи баз даних. Крім того, СКБД забезпечує вибірку даних із бази.
Крім БД і СКБД до складу АБД входять мовні, технічні та організаційні засоби.
Мовні засоби потрібні для опису даних, організації спілкування та виконання процедур пошуку і різних перетворень з даними. У сучасних СКБД для спрощення процедур пошуку даних в БД передбачена мова запитів. Найпоширенішими мовами запитів є дві мови SQL та QBE.
SQL –Structured English Query Language – структурована англійська мова запитів була створена фірмою IBM в межах роботи над проектом побудови системи керування реляційними базами даних на початку сімдесятих років.
Мова запитів QBE (Query By Example) – це реалізація запитів за зразком у вигляді таблиць. Для визначення запиту до БД користувач повинен заповнити таблицю QBE, яка надається системою і визначити в ній критерій пошуку, вибору та перетворення даних.
До технічних засобів АБД належать процесори, пристрої вводу і виводу даних, запам’ятовувальні пристрої, модеми, канали зв’язку.
Організаційні засоби АБД охоплюють персонал, який пов’язаний із створення і веденням БД, а також систему нормативно-технологічної і інструктивно-методичної документації з організації та експлуатації БД.
На сьогодні існують різні підходи до вирішення проблеми відображення предметної області, які відрізняються різною кількістю рівнів. Під предметною областю розуміють один чи кілька об’єктів управління (або певні їх частини), інформація яких моделюється за допомогою БД і використовується для розв’язування різних функціональних задач.
Вирішення проблем багаторівневого представлення предметної області в БД розв’язується введенням трьох рівнів: зовнішнього, концептуального і внутрішнього рис. 2.
рис.2. Схема взаємозв’язку рівнів подання даних у БД.
Зовнішня модель (ЗМ) –це частина множини структурованих об’єктів предметної області, які становлять інтерес для окремого користувача. Кожному користувачу відповідає певна зовнішня модель. Під час розробки зовнішньої моделі підприємства визначають сферу застосування та загальний зміст баз даних. Ця модель створюється як складова частина планування ІС для організації але не для проектування конкретної БД. Зовнішня модель даних, як правило, показує об’єкти високого рівня в організації та зв’язки між ними в графічній формі.
На рис. 3 показано графічне представлення фрагмента БД “Продукти” при побудові зовнішньої моделі даних.
Рис. 3. Графічне представлення фрагмента БД “Продукти” в зовнішній моделі даних.
Найпопулярнішими позначками (нестандартними) для виконання цих схем є такі:
Чисельність відношень *: один багато
необов’язкові
обов’язкові
Іноді для зручності проектування БД вводять допоміжний рівень (проміжний), який називають інфологічним (канонічним). Інфологічний рівень являє собою інформаційно-логічну модель предметної області, якій виключена надмірність даних і відображені інформаційні особливості об’єкта управління, без урахування особливостей і специфіки конкретної СКБД.
Концептуальна модель (логічна, даталогічна) є центральною. Вона відображає предметну область загалом. Дані можна використовувати, якщо вони відображені концептуальною моделлю – спеціальним способом структурованою моделлю предметної області, яка відповідає особливостям і обмеженням вибраної СКБД. Існує лише одна концептуальна модель для бази даних, яка повинна задовольняти вимоги будь-якого користувача. Модель концептуального (логічного) рівня, яка підтримується засобами конкретної СКБД, іноді називають даталогічною. Залежно від типів моделей, які підтримуються засобами СКБД, є:
ієрархічні моделі БД;
сіткові моделі БД;
реляційні БД.
Найпоширенішими на сучасному ринку програмних продуктів є реляційні СКБД.
Отже, концептуальна модель:
описує логічну структуру всієї БД;
не залежить від конкретної СКБД;
не вимагає докладної інформації фізичного проектування;
наведена в схемах “об’єкт - зв’язок” (ЕR), метаданих (опису даних).
У внутрішній моделі БД відображається використовувана технологія зберігання і доступу до даних. На внутрішньому (фізичному) рівні формується фізична модель БД, яка містить структури зберігання даних у пам’яті ЕОМ, включаючи опис форматів даних, порядок їх логічного чи фізичного упорядкування, розміщення за типами пристроїв, а також характеристики і шляхи доступу до даних.
При проектуванні фізичних БД необхідно:
вибрати СКБД;
вибрати пристроїв пам’яті;
визначити методи доступу;
спроектувати файли та індекси;
визначити стратегію оновлення БД.
Отже, внутрішня (фізична) модель БД:
описує фізичну структуру всієї бази даних;
конкретизує, як дані з концептуальної моделі зберігаються у вторинній пам’яті;
специфікації включають структури фізичних файлів і даних, організацію збереження і структури індексів.
Від параметрів фізичної моделі залежать обсяг пам’яті ЕОМ і час реакції системи на запити при функціонуванні БД. Фізичні параметри БД можна змінювати під час її експлуатації (не змінюючи при цьому опису інших рівнів) з метою підвищення ефективності функціонування системи.
Структура файлів БД визначається на етапах інфологічного і логічного проектування, а формування структури – на етапі фізичного проектування БД.
Структура файлів – це пойменована сукупність логічно взаємозв’язаних атрибутів.
Огляд концепцій зберігання інформації
Різновидом баз даних є сховище даних (Data Waren House - DW). Появу DW обумовили такі фактори:
Поява систем підтримки прийняття рішень, основаних на OLAP-технології (реалізації аналітичних запитів).
СППР почали конфліктувати з транзакційними системами оперативної обробки даних (OLTP- системами), що призвело до нестачі ресурсів.
Формування аналітичних звітів на основі традиційних БД займає багато часу, що призвело до невстигання готувати менеджерами відповідних рішень на основі отриманих аналітичних звітів.
В організаціях часто функціонувало декілька OLTP- систем з окремими БД, що унеможливлювало побудову зведеного аналітичного запиту на основі декількох баз даних без попередньої узгодженості даних у різних базах.
Вирішення перерахованих проблем було знайдено в розробці концепції сховища даних (DW) – особливої форми організації бази даних, призначеної для зберігання в погодженому вигляді агрегованої інформації, що отримується на основі БД різних OLTP- систем та зовнішніх джерел.
DW характеризується предметною орієнтацією, інтегрованістю, підтримкою хронології, незмінністю і мінімальною надлишковістю.
Під сховищем даних розуміють особливу базу даних, яка призначена для зберігання в погодженому вигляді історичної інформації, що надходить з різних оперативних систем та зовнішніх джерел. В основі концепції сховища даних лежить розподіл інформації, що використовують в системах оперативної обробки даних (ОLTP) і в системах підтримки прийняття рішень.
Основними характеристиками сховищ даних є наступні:
-Предметна орієнтація. Дані в сховищі зорієнтовані на бізнес-поняття, а не на бізнес-події.
- Інтегрованість. Перш ніж потрапити до сховища даних оперативні дані перевіряють, очищують та певним чином агрегують.
- Підтримка хронології. Дані в сховищі даних накопичуються у вигляді історичних пластів.
- Незмінність. Дані у сховищі даних, на відміну від даних в базі даних, не підлягають ніяким змінам.
- Мінімальна надлишковість. Не дивлячись на те, що інформація до сховища даних потрапляє від багатьох OLTP-систем, надлишковість інформації в сховищі даних зведена до мінімуму.
Ключовим компонентом побудови та використання сховищ даних є OLAP-технологія (On-Line Analytical Processing), що заснована на багатовимірному аналізі даних.
Основні вимоги до сховища даних.
1) Адекватність відображення логіки предметного середовища у відповідні моделі даних.
2) Оптимальна надмірність даних. БД повинна являти собою єдину сукупність інтегрованих даних.
В системах, що не використовують бази даних, кожне застосування має свої файли. Наприклад, застосування, пов’язане з обліком персоналу, і застосування, пов’язане з обліком навчання персоналу можуть мати свої власні файли з інформацією о персоналі. Це призводить до надмірності даних, що зберігаються. Наслідком надмірності даних може бути суперечність даних, наприклад, коли два записи про одного і того ж співробітника не погоджуються одна з одною.
3) Наявність ефективних засобів ведення баз даних ( засоби створення, накопичення, модифікації, видалення та пошуку даних ).
Засоби створення даних - це засоби завантаження даних з зовнішнього, орієнтованого на користувача, уявлення у системне.
4) Цілісність даних ( наприклад, забезпечення вимоги унікальності усіх записів БД ) та їх узгодженість при виконанні користувачами операцій над ними. Керування одночасними модифікаціями.
Задача цілісності полягає в забезпеченні правильності і точності даних в базі даних. Протиріччя між двома записами, що зображують один і той самий факт - є прикладом недостачі цілісності. У більшості продуктів баз даних підтримка контролю цілісності розвинена слабо.
5) Безпека даних - захист від несанкціонованого доступу до даних та від руйнування БД з наміром або без наміру.
Централізована природа системи баз даних вимагає наявності хорошої системи безпеки. Доступ до даних дозволяється лиш тим користувачам, що мають на те право.
6) Можливість реструктуризації БД - наявність засобів змінювання структури даних при змінюванні запитів до БД.
7) Наявність повних, зручних та простих у вивченні мовних засобів визначення та маніпулювання даними.
Такими засобами є мова визначення даних та мова маніпулювання даними. Автономну мову даних, тобто мову, що не включена в універсальну мову, називають також мовою запитів.
8) Наявність документації.
9) Простота вивчення.
10) Взаємна незалежність програм та даних.
БД повинна зберігати працездатність при розвитку програмного та апаратного забезпечення. Зміна фізичної організації даних або параметрів запам’ятовуючих пристроїв не впливають на користувача, або, точніше, на прикладну програму. Зміна уявлення користувача не потребує затрат на реорганізацію та зміну механізму доступу до файлів фізичних даних. Незалежність даних забезпечує можливість функціонування системи при змінах з обох сторін ( тобто зі сторони користувача та фізичних даних ) і є найбільш важливою властивістю і основною метою БД. Вона впливає на наявність інших властивостей, таких як, надмірність даних, можливість забезпечення захисту та цілісності та ін.
Незалежність даних можна визначити як імунітет програм до змін в структурах зберігання даних і в методах доступу до даних. Наприклад, деяке застосування обробляє файл з інформацією о співробітниках і цей файл проіндексований по деякому полю. Якщо програма враховує, що послідовність записів у файлі визначена даним індексом, то неможливо замінити індексований файл на хешований без внесення суттєвих змін у програму.