- •1.История развития средств компьютерной обработки данных. Обоснование концепции баз данных, основные положения концепции.
- •2. Архитектура представления информации в концепции баз данных.
- •Внешние представления
- •3. Понятие системы управления базами данных (субд).
- •4. Понятие и роль схемы и подсхемы.
- •5. База данных как средство отображения информационной модели предметной области.
- •6. Модели данных. Классические модели данных (плоская, иерархическая, сетевая)
- •8. Операции реляционной алгебры. Реляционное исчисление.
- •9. Языки манипулирования данными sql и qbe (общие сведения).
- •10. Использование sql для создания и актуализации баз данных, формирования представлений, хранимых процедур и триггеров, запросов к базе данных.
- •Команда выборки информации
- •Команда создания индекса
- •Команды удаления файла (таблицы) и индекса
- •1 1. Системы управления базами данных. Общие свойства субд. Обобщенная схема обмена данных с использованием субд.
- •12.Типовые информационные процедуры, реализуемые субд.
- •13.Общие сведения о субд первого поколения (ims-ока, adabas, ids-Банк ос), реляционных субд (FoxPro, Access), субд, обеспечивающих технологию клиент-сервер (oracle, ms sql, my sql).
- •14.Информационные системы, основанные на бд и субд. Физическая организация базы данных; хешированные, индексные файлы; защита баз данных; целостность и сохранность баз данных.
- •15.Проектирование баз данных. Проектирование с использованием метода сущность – связь, средства поддержки проектирования (erWin).
- •16.Традиционные методики проектирования бд, современная интеграционная методика проектирования.
- •17.Проектирование системы баз данных на принципах единой информационной среды.
- •18.Современные направления использования баз данных.
- •19.Распределенные базы данных и распределенная обработка.
- •20.Понятие транзакции и параллельная обработка. Oltp, olap, Data Mining технологии.
- •21.Единая информационная среда.
- •22. Базы знаний.
- •23. Хранилища данных. Базы данных большого объема.
20.Понятие транзакции и параллельная обработка. Oltp, olap, Data Mining технологии.
Концепция транзакций – неотъемлемая часть любой клиент-серверной базы данных.
Транзакция - неделимая с точки зрения воздействия на БД последовательность операторов манипулирования данными (чтения, удаления, вставки, модификации), приводящая к одному из двух возможных результатов: либо последовательность выполняется, если все операторы правильные, либо вся транзакция откатывается, если хотя бы один оператор не может быть успешно выполнен. Обработка транзакций гарантирует целостность информации в базе данных. Таким образом, транзакция переводит базу данных из одного целостного состояния в другое. При выполнении транзакции система управления базами данных должна придерживаться определенных правил обработки набора команд, входящих в транзакцию. В частности, разработано четыре правила, известные как требования ACID (Atomicity, Consistency, Isolation, Durability – неделимость, согласованность, изолированность, устойчивость), они гарантируют правильность и надежность работы системы.
OLTP –оперативная транзакционная обработка данных. OLAP –оперативная аналитическая обработка данных
Характеристики OLTP системы: Большой объем информации, Часто различные БД для разных подразделений, Нормализованная схема, отсутствие дублирования информации, Интенсивное изменение данных, Транзакционный режим работы, Транзакции затрагивают небольшой объем данных, Обработка текущих данных – мгновенный снимок, Много клиентов, Малое время отклика – несколько секунд
Характеристики OLAP системы: Большой объем информации, Синхронизированная информация из различных БД с использованием общих классификаторов, Ненормализованная схема БД с дубликатами, Данные меняются редко, Изменение происходит через пакетную загрузку, Выполняются сложные нерегламентированные запросы над большим объемом данных с широким применением группировок и агрегатных функций, Анализ временных зависимостей, Небольшое количество работающих пользователей – аналитики и менеджеры, Большее время отклика (но все равно приемлемое) – несколько минут
Четыре группы характеристик OLAP по Кодду:
основные характеристики (многомерность модели данных, интуитивные механизмы манипулирования данными, доступность данных, пакетное извлечение данных, архитектура «клиент–сервер», прозрачность, многопользовательская работа); специальные характеристики (обработка ненормализованных данных, хранение результатов отдельно от исходных данных, выделение отсутствующих данных, обработка отсутствующих значений);
характеристики построения отчетов (гибкое построение отчетов, стабильная производительность при построении отчетов, автоматическое регулирование физического уровня); управление размерностью (общая функциональность, неограниченное число измерений и уровней агрегирования, неограниченные операции между данными различных измерений).
Типы OLAP – серверов:
MOLAP (Multidimensional OLAP) - и детальные данные, и агрегаты хранятся в многомерной БД.
ROLAP (Relational OLAP) - детальные данные храняться в реляционной БД; агрегаты хранятся в той же БД в специально созданных служебных таблицах.
HOLAP (Hybrid OLAP) - детальные данные храняться в реляционной БД, а агрегаты хранятся в многомерной БД.
OLAP: Решаемые задачи: Понимание бизнеса: интегрированный взгляд, Поддержка принятия решений, Бизнес прогнозы. Пользователи OLAP систем: Руководители и менеджмент, Бизнес-аналитики, маркетологи и аналитики по планированию развития, Руководители среднего и младшего звена, Рядовые сотрудники, Сотрудники ИТ служб и др
Data Mining (Извлечение знаний) - технология анализа данных, поиска новых общих закономерностей в больших наборах данных, включающая в себя использование методов и алгоритмов статистики, распознавания образов, машинного обучения, искусственного интеллекта.
Область использования: Банки и финансовые организации, телекоммуникация, торговля, медицина.
Цель извлечения знаний - построение прогнозирующей или дескриптивной модели.
Прогнозирующие модели в явном виде содержат информацию для прогноза. Типы: классификация(для создания надо набор классифицированных случаев), регрессия
Дескриптивные модели описывают общие закономерности предметной области. Типы: Кластерные(разбиение данных на разные группы по критерию «похожести»), ассоциативные