- •Основные функции субд:
- •По модели данных:
- •Иерархические (Иерархической базой данных является файловая система, состоящая из корневого каталога, в котором имеется иерархия подкаталогов и файлов).
- •Сетевые (Сетевые базы данных подобны иерархическим, за исключением того, что в них имеются указатели в обоих направлениях, которые соединяют родственную информацию).
- •По степени распределённости
- •Локальные субд (все части локальной субд размещаются на одном компьютере)
- •Распределённые субд (части субд могут размещаться на двух и более компьютерах).
- •Различные представления о данных в базах данных:
- •Ограничения не-Null Ограничение не-null просто говорит, что колонка не должна содержать значение null. Пример синтаксиса:
- •2. Определение структур базы данных (ddl)
- •3. Манипуляция данными (dml)
- •4. Отбор данных (dql)
- •5. Язык управления данными (dcl)
- •6. Команды администрирования данных
- •7. Команды управления транзакциями
- •14.Запись sql-операторов
- •15.Типы данных языка sql, определенные стандартом
- •16.Основные команды языка ddl
- •17.Основные команды языка dml
- •18.Оператор выбора select
- •19.Применение агрегатных функций и вложенных запросов в операторе выбора
- •20. Операторы манипулирования данными
- •21.Физическая организация бд: файлы, записи, блоки.
- •23.Организация файла бд в виде кучи. Эффективность таких файлов.
- •24.Хешированные файлы: бакет, каталог бакетов, дополнительный каталог бакетов, выбор хеш-функции. Операции над хешированными файлами.
- •25.Сравнение эффективности хешированных файлов и файлов, организованных в виде кучи. Причины снижения эффективности хешированных файлов.
- •26.Динамическое хеширование. Операции над динамически хешированными файлами.
- •27.Последовательная организация файлов. Операции добавления и удаления записей в последовательных файлах, блок переполнения.
- •28. Индексированные файлы: инициализация, поиск.
- •29. Индексированные файлы: операции вставки и удаления записей.
- •30.Разреженные и плотные индексы. Индексация по нескольким полям.
- •Составные индексы
- •31.Эффективность операций в индексированных файлах при различной организации поиска.
- •32.B-деревья: принципы построения, операция поиска.
- •33.В-деревья: операции добавления и удаления записей.
- •34.Эффективность организации файлов в виде в-дерева.
- •35.Технология кластеризации бд.
- •36.Технология сжатия информации в бд.
- •37.Основные шаги обработки запросов.
- •Можно транслировать в выражение
- •38.Статистика бд.
- •40.Алгоритмы выполнения селекции с одним условием сравнения: размер селекции, использование первичного индекса, использование вторичного индекса.
- •41.Размер комплексной селекции при конъюнкции и дизъюнкции условий.
- •43.Алгоритм внешней сортировки.
- •44.Размер операции соединения. Алгоритм соединения, основанный на двух вложенных циклах.
- •45.Алгоритмы выполнения соединения: поблочное соединение, усовершенствование алгоритма поблочного соединения, соединение по индексу.
- •46.Алгоритм соединения слиянием.
- •47.Алгоритмы выполнения операций с множествами, проекции, внешнего соединения.
- •48.Два подхода к вычислению выражений при обработке запросов.
- •50.Виды оптимизаторов: итеративный, основанный на стоимостях и эвристический.
- •51.Понятие транзакции. Свойства acid транзакций.
- •52.Аномалии параллельных транзакций: потерянное обновление, зависимость от нефиксированных результатов, несогласованная обработка.
- •53.Понятие плана параллельного выполнения транзакций. Последовательные, непоследовательные и неупорядоченные планы.
- •54.Конфликтное упорядочивание планов и упорядочивание планов по просмотру.
- •55.Блокировки как механизм управления параллельными транзакциями: понятие блокировки, хранение блокировок, виды блокировок.
- •56.Работа транзакций при использовании механизма блокировок. Предотвращение аномалий при использовании блокировок.
- •57.Понятие протокола. Двухфазный протокол.
- •58.Проблема каскадного отката в параллельных транзакциях. Строгий двухфазный протокол.
- •59.Взаимная блокировка параллельных транзакций.
- •60.Использование метода временных отметок для управления параллельными транзакциями.
- •61.Оптимистические технологии управления транзакциями.
- •63.Уровни изоляции параллельных транзакций.
- •64.Восстановление бд: возможные причины отказов, механизм резервного копирования, журнал транзакций, создание контрольных точек.
- •65.Методы восстановления бд: восстановление с резервной копии, метод «redo», метод теневых страниц.
- •66.Улучшенные модели транзакции: проблемы классических моделей транзакций, модель вложенных транзакций, модель хроник.
- •67.Технология raid. Уровни raid.
- •68.Oltp- технологии и хранилища данных. Хранилища данных.
- •Понятие хранилища данных.
- •Проблемы хранилищ данных.
- •Архитектура хранилища данных
- •Проектирование схемы бд для хранилища данных.
- •Olap-технологии.
Проектирование схемы бд для хранилища данных.
Выделяют два типа схем БД хранилищ данных.
Схема «Звезда». В этом случае подразумевается структура, в центре которой находится таблица фактов с детальными данными, окруженная справочными данными, помещенными в таблицы размерностей.
Например, таблица фактов «Оценка» со справочниками «Студент», «Предмет», «Преподаватель».
Если бы проектировали БД для OLTP- системы, то возможно, схема была бы другая. /*Преподаватель читает предмет, студент учится у преподавателя по предмету и только потом оценка. */
Важным моментом является наличие в таблице фактов характеристики «время». Этот атрибут обычно присутствует в хранилищах данных, даже если его нет в источниках данных. /*Специфика формирования и использования хранилищ. */
Схема «Звезда» обычно реализуется через денормализацию таблиц. Это обеспечивает повышение эффективности доступа к данным при анализе.
Схема «Снежинка». Это вариант (расширение?) схемы «звезда», при котором размерности таблицы фактов могут иметь свои размерности. /*Пририсовать с размерности студент еще и специальность, а к специальности факультет */
Схема «Снежинка» не подразумевает денормализации.
Также может использоваться гибрид, когда размерности могут организовываться и как «Снежинка» и как «Звезда».
Olap-технологии.
Основу OLAP-технологии составляют многомерные данные (кубы данных).
Допустим для фактических данных об оценках, структура которых приведена ранее, хранятся обобщающие данные о количестве двоек по предмету. /*Получается простая таблица из двух колонок: предмет, средняя оценка */.
Если кроме предмета добавим еще одно измерение – специальность, то получим два измерения в таблице. /*Хотя можем представить и в виде матрицы. Осторожно с суммами оценок! */
При добавлении размерности – учебный год получаем куб /*хотя опять же можно описать в виде матрицы. Опять же суммы. */
И так далее, добавляя размерности, можем получить массив произвольной размерности. В виде многомерного куба использовать удобнее, так как проще получить информацию по любому срезу.
Делаются попытки расширить язык SQL для того, чтобы была возможность обрабатывать многомерные данные.
Например.
Расчет скользящего среднего или скользящей суммы (для каждой строки сумма с первой по текущую): MovingSum, MavingAvg.
Вычисление процентной доли значения текущей строки столбца по отношению к итогу столбца: RatioReport.
Ранжирование данных в текущем наборе по трем уровням (высокий, средний, низкий) TerTile.