бд
.pdfнаходится новый кэш, точнее новая разделяемая область для данных в оперативной памяти, в которой данные из таблиц хранятся в колоночном формате.
При использовании технологии In-Memory аналитика работает в сотни раз быстрее, потому что колоночное представление для нее более эффективно.
Вобычном буферном кэше информация хранится по строкам.
Вобычном буферном кэше информация хранится по строкам.
Если та же таблица хранится в колоночном формате, то вся четвертая колонка нашей таблички находится в одном экстенте, т.е. в одном блоке памяти. Мы можем сразу выделить ее, тут же прочитать и вернуть приложению. Уменьшаются затраты на сканирование, на пересылку этих данных процессору, снижается загрузка процессора. Все работает значительно быстрее.
Технология SPARC принадлежит Oracle уже пять лет.
За это время корпорация Oracle выпустила микропроцессоры SPARC ТЗ, SPARC T4, SPARC T5,
SPARC M5 и SPARC М6, каждый из которых был важным шагом на пути эволюции технологий — причем системы SPARC ТЗ и Т4 разрабатывались еще компанией Sun Microsystems, и последующие процессоры многое унаследовали от них.
SPARC М7 - первый процессор, который полностью, начиная с идеологии и базового дизайна, разрабатывался Oracle и для Oracle. Основной целью проекта разработки было обеспечить максимальную эффективность работы ПО Oracle — и в результате был создан первый в индустрии 32-ядерный процессор с беспрецедентными нагрузочной способностью, производительностью ядра, возможностями быстрого шифрования и аппаратной декомпрессии.
Если сравнить параметры микропроцессора SPARC M7 с параметрами самого совершенного выпущенного ранее процессора SPARC T5, обнаружится, что многие параметры увеличились в два раза, а некоторые — в четыре. У процессора SPARC M7 32 ядра общего назначения, т. е. вдвое больше, чем у процессора Т5. Также у процессора SPARC M7 вдвое больше вычислительных потоков и вчетверо больше кэша на каждое ядро, а новая архитектура существенно повысила производительность каждого ядра. Новые контроллеры памяти позволили увеличить пропускную способность памяти и скорость доступа к памяти, а пропускная
способность ввода-вывода выросла в четыре раза. Выросла и тактовая частота процессора. В целом процессор SPARC M7 работает примерно в три раза быстрее, чем процессор SPARC Т5. Исторический революционный шаг, сделанный Oracle новым процессором, — это реализация программных функций непосредственно на кристалле. Это безопасность на кристалле,
т. е. ускорение шифрования и аппаратная защита памяти, и, что еще важнее, — SQL на кристалле, т. е. первая в мире аппаратная реализация ускорения обработки SQL-запросов и декомпрессии для Oracle Database In-Memory.
Безопасность на кристалле
Количество похищенных строк данных в мире за 2014 год, согласно отчету CSO Online Market Pulse, составило сотни миллионов, а понесенные бизнесом потери измеряются миллионами и миллионами долларов. Но, к сожалению, в системе корпоративной безопасности защита баз данных фактически является сейчас самым слабым местом. Более 50 % компаний считают, что
самые важные и самые ценные данные хранятся у них в базах данных, но при этом большинство компаний инвестируют в первую очередь в защиту сети, а на защиту баз данных предпочитают
тратить как можно меньше средств. В результате 76 % всех успешных атак на корпоративные данные не были остановлены именно средствами сетевой безопасности.
Существует три основных вида угроз безопасности: Уязвимости базы данных как физического носителя
Уязвимости операционной системы, приводящие к проникновению и получению несанкционированного доступа к данным Ошибки доступа к памяти
Процессор SPARC М7 обладает уникальной функциональностью,позволяющей обеспечить прозрачное шифрование данных с использованием 15 наиболее известных алгоритмов шифрования: в каждое ядро процессора встроен специализированный математический блок обработки инструкций шифрования, который обеспечивает скорость шифрования, практически равную скорости работы основного ядра и скорости работы с памятью. Поскольку все алгоритмы обрабатываются непосредственно в процессоре, падение производительности при этом составляет менее 3 %.
Системы на базе SPARC M7 предлагают также аппаратную
поддержку безопасной миграции доменов. В процессе миграции виртуальная машина с критичными данными передается через сеть, и образ виртуальной машины шифруется для передачи. При этом данные защищены во время передачи сложным алгоритмом
шифрования. Таким образом обеспечивается защита передаваемых данных с минимальным влиянием на производительность мигрирующей виртуальной машины во время переноса. Большинство вирусов для систем RISC/UNIX пытаются напрямую адресовать память за рамками отведенных им буферов, и используют для этого либо механизмы переполнения стека, либо механизмы переполнения буфера. Система SPARC M7 впервые в истории имеет аппаратную защиту памяти и позволяет предотвращать несанкционированный доступ к памяти на уровне
аппаратных процессорных ресурсов. Эта функция предотвращает доступ вредоносных программ и к памяти приложений, и к каким-либо функциям операционной системы, при этом она не влияет на производительность и ее невозможно обойти.
SQL in Silicon — обработка запросов к базе данных, реализованная непосредственно на процессоре.
В процессоре SPARC М7 имеются специализированные ускорители SQL-инструкций, которые работают независимо, в синхронном и асинхронном режиме. И если с переходом на In-Memory скорость обработки инструкций составила миллионы строк в секунду, то с использованием специализированных ускорителей в процессоре М7 она достигла миллиардов строк в секунду.
Максимальный результат, достигнутый на внутренних тестах Oracle, составил 170 млрд строк в секунду на процессорах SPARC M7 с использованием механизма In-Memory и встроенных сопроцессоров. Встроенные сопроцессоры не только повышают скорость обработки SQL-запросов, но и освобождают процессорные ядра общего назначения для работы других приложений — OLTP-запросов и пр.
В результате аналитика на SPARC M7 работает более чем в восемь раз быстрее, чем на системной архитектуре х86 платформы. OLTP работает примерно в три раза быстрее. Это
значит, что там, где раньше требовалось пять двухпроцессорных серверов для обработки OLTP и аналитики, теперь можно обойтись одним однопроцессорным сервером на базе
SPARC M7, который будет одновременно обрабатывать и OLTP-, и аналитические запросы. Один из крупных заказчиков Oracle, который занимается онлайн-торговлей, при тестировании сервера SPARC Т7-4 на базе процессоров SPARC М7 c Oracle Database 12.1.0.2 и опцией
In-Memory получил повышение скорости обработки запросов в 83 раза.
8. Понятие модели данных.Охарактеризуйте иерархическую модель данных.Недостатки иерархической модели.
Модель данных – это совокупность правил порождения структур данных в базе данных, операций над ними, а также ограничений целостности, определяющих допустимые связи и значения данных, последовательность их изменения Модель данных включает три аспекта:
1)аспект структуры: методы описания типов и логических структур данных в базе данных;
2)аспект манипуляции: методы манипулирования данными;
3)аспект целостности: методы описания и поддержки целостности базы данных.
Модель данных — это абстрактное, самодостаточное, логическое определение объектов, операторов и прочих элементов, в совокупности составляющих абстрактную машину доступа к данным, с которой взаимодействует пользователь. Эти объекты позволяют моделировать структуру данных, а операторы — поведение данных.
Иерархическая модель данных— это модель данных, где используется представление базы данных в виде древовидной (иерархической) структуры, состоящей из объектов (данных) различных уровней.
Недостатки иерархической модели данных Частично дублируется информация между записями СОТРУДНИК и ИСПОЛНИТЕЛЬ (такие
записи называют парными), причем в иерархической модели данных не предусмотрена поддержка соответствия между парными записями.
Иерархическая модель реализует отношение между исходной и дочерней записью по схеме 1:N, то есть одной родительской записи может соответствовать любое число дочерних. Допустим теперь, что исполнитель может принимать участие более чем в одном контракте (т.е. возникает связь типа M:N). В этом случае в базу данных необходимо ввести еще одно групповое отношение, в котором ИСПОЛНИТЕЛЬ будет являться исходной записью, а КОНТРАКТ - дочерней (рис. (c)). Таким образом, мы опять вынуждены дублировать информацию.
9. Понятие модели данных.Сетевые модели БД: особенности, преимущества, недостатки.
Модель данных – это совокупность правил порождения структур данных в базе данных, операций над ними, а также ограничений целостности, определяющих допустимые связи и значения данных, последовательность их изменения [ГОСТ 20886-85].
Модель данных включает три аспекта:
1)аспект структуры: методы описания типов и логических структур данных в базе данных;
2)аспект манипуляции: методы манипулирования данными;
3)аспект целостности: методы описания и поддержки целостности базы данных.
Сетевая модель данных позволяет отображать разнообразные взаимосвязи элементов данных в виде произвольного графа, обобщая тем самым иерархическую модель данных.
Сетевая БД состоит из набора записей и набора соответствующих связей. На формирование связи особых ограничений не накладывается. Если в иерархических структурах запись-потомок могла иметь только одну записьпредка, то в сетевой модели данных запись-потомок может иметь произвольное число записей-предков.
Наиболее распространенной и стандартизованной из реализаций СМД является модель CODASYL. В соответствии с ней описание схемы БД осуществляется на языке COBOL, а манипулирование данными – с помощью включающего языка программирования высокого уровня.
Примером сетевой СУБД является система Integrated Database Management System (IDMS).
Достоинства СМД:
· СМД является наиболее полной с точки зрения реализации различных типов связей
и
ограничений целостности.
Недостатки СМД:
· является достаточно сложной для проектирования и поддержки.
· в СМД0 не обеспечивается физическая независимость данных, т.к. наборы организованы с помощью физических ссылок.
· в СМД не обеспечивается независимость данных
от программ.
Из-за указанных недостатков эта модель не получила широкого распространения. Наиболее известной сетевой СУБД является CA IDMS (Integrated Database Management System).
10. Реляционные модели данных: особенности, преимущества, недостатки.
Из презентации:
Вреляционной модели рассматриваются три принципиальных аспекта данных:
1.Структурный аспект — данные в базе данных представляют собой набор отношений.
2.Аспект целостности — отношения (таблицы) отвечают определенным условиям целостности. РМД поддерживает декларативные ограничения целостности уровня домена (типа данных), уровня отношения и уровня базы данных.
3.Аспект обработки (манипулирования) — РМД поддерживает операторы манипулирования отношениями (реляционная алгебра, реляционное исчисление).
Реляционная база данных — база данных, основанная на реляционной модели данных.
Реляционные СУБД – системы для работы с реляционными БД Определение (неформальное)
Реляционная база данных (от англ. Relation – отношение) – набор таблиц, связанных между собой по значениям определенных столбцов.
Схема БД – графическое описание логической структуры БД.
При создании информационной системы совокупность отношений позволяет хранить данные об объектах предметной области и моделировать связи между ними.
Из инета: Достоинства
·Эта модель данных отображает информацию в наиболее простой для пользователя форме
·Основана на развитом математическом аппарате, который позволяет достаточно лаконично описать основные операции над данными.
·Позволяет создавать языки манипулирования данными не процедурного типа.
·Манипулирование данными на уровне выходной БД и возможность изменения. Недостатки
·Самый медленный доступ к данным.
·Трудоемкость разработки
11. Постреляционные модели данных: особенности, преимущества, недостатки.
Постреляционная модель. Классическая реляционная модель предполагает неделимость данных, хранящихся в полях записей таблиц. Существует ряд случаев, когда это ограничение мешает эффективной реализации приложений. Постреляционная модель данных представляет собой расширенную реляционную модель, снимающую ограничение неделимости данных, хранящихся в записях таблиц. Постреляционная модель данных допускает многозначные поля — поля, значения которых состоят из подзначений. Набор значений многозначных полей считается самостоятельной таблицей, встроенной в основную таблицу. Помимо обеспечения вложенности полей постреляционная модель поддерживает ассоциированные многозначные поля (множественные группы). Совокупность ассоциированных полей называется ассоциацией. При этом в строке первое значение одного столбца ассоциации соответствует первым значениям всех других столбцов ассоциации. Аналогичным образом связаны все вторые значения столбцов и т. д. На длину полей и количество полей в записях таблицы не накладывается требование постоянства. Это означает, что структура данных и таблиц имеют большую гибкость.
Достоинством постреляционной модели является возможность представления совокупности связанных реляционных таблиц одной постреляционной таблицей. Это обеспечивает высокую наглядность представления информации и повышение эффективности ее обработки.
Недостатком постреляционной модели является сложность решения проблемы обеспечения целостности и непротиворечивости хранимых данных.
P.S. Особенности постреляционной модели: снимается ограничение, однозначность полей, нет ограничений на длину поля и их количества.
12. Охарактеризуйте объектно-ориентированную модель данных (ООМД). Достоинства и недостатки ООМД.
Объектно-ориентированная модель представляет структуру, которую можно изобразить графически в виде дерева, узлами которого являются объекты. Между записями базы данных и функциями их обработки устанавливаются связи с помощью механизмов, подобных тем, которые имеются в объектно-ориентированных языках программирования. Такая модель позволяет идентифицировать отдельные записи базы. Определяемый пользователем объект называют объектом-целью. Поиск в объектно-ориентированной базе состоит в выяснении сходства между объектом, задаваемым пользователем, и объектами, хранящимися в базе.
Для выполнения действий над данными в рассматриваемой модели БД применяются логические операции, усиленные объектно-ориентированными механизмами инкапсуляции, наследования и полиморфизма.
Инкапсуляция ограничивает область видимости имени свойства пределами того объекта, в котором оно определено. Наследование , наоборот, распространяет область видимости свойства на всех потомков объекта.
Полиморфизм в объектно-ориентированных языках программирования означает способность одного и того же программного кода работать с разнотипными данными. Другими словами, он означает допустимость в объектах разных типов иметь методы (процедуры или функции) с одинаковыми именами. Поиск в объектно-ориентированной БД состоит в выяснении сходства между объектом, задаваемым пользователем, и объектами, хранящимися в БД.
Объектно-ориентированные модели представления данных позволяют идентифицировать отдельные записи базы. Между записями базы данных и функциями их обработки формируются определенные взаимосвязи с помощью механизмов, похожих на соответствующие средства в объектно-ориентированных языках программирования.
Достоинствами объектно-ориентированной модели данных являются:
1)возможность показа информации о сложных взаимосвязях объектов;
2)способность идентификации отдельной записи базы данных и определения функции ее обработки.
К недостаткам объектно-ориентированной модели данных относятся:
1)трудность в понимании ее деятельности непрофессиональным пользователем;
2)неудобство обработки данных;
3)небольшая скорость выполнения запросов.
Среди объектно-ориентированных СУБД можно выделить системы РОЕТ фирмы
РОЕТ Software, Versant фирмы Versant Technologies и др.
13. Многомерные модели данных: особенности, преимущества, недостатки.
Многомерная СУБД - одна из моделей организации системы управления БД, основанная на многомерном представлении данных.
В СУБД, основанных на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов: гиперкубов (все хранимые в базе данных ячейки должны иметь одинаковую мерность, то есть находиться в максимально полном базисе измерений) и/или витрин данных, представляющих собой предметно-ориентированные подмножества хранилища данных, спроектированные для удовлетворения нужд отдельной группы (сообщества) пользователей и удовлетворяющие требованиям защиты от несанкционированного доступа в организации.
Для достижения сравнимой производительности реляционные системы требуют тщательной проработки схемы базы данных, определения способов
индексации и специальной настройки. В случае многомерных баз данных, как правило, не требуется даже указание на то, по каким реквизитам (группам реквизитов) требуется индексация данных. Реляционные СУБД обеспечивают качественно более высокий уровень защиты данных и разграничения прав доступа, а также имеют более развитые средства администрирования и реальный опыт работы с большими и сверхбольшими базами данных. В то время, как для многомерных баз данных, в настоящее время отсутствуют единые стандарты на интерфейс, языки описания и манипулирования данными. Многомерные СУБД не поддерживают репликацию данных, наиболее часто используемую в качестве механизма загрузки. Многомерные базы, в силу чисто исторических причин, “не умеют” работать с большими объемами данных. На сегодняшний день, их реальный предел - база объемом в 10-20 гигабайт.
В основе многомерного подхода лежит представление данных в виде многомерных гиперкубов, при этом обычно предполагается, что внутри такого гиперкуба нет пустот. То есть все ячейки куба всегда заполнены. Это связано с тем, что данные в них обычно хранятся в виде множества логически упорядоченных блоков (массивов), имеющих фиксированную длину, причем именно блок является минимальной индексируемой единицей. В многомерных СУБД обычно предполагается, что блоки, полностью заполненные неопределенными значениями, не хранятся, это обеспечивает лишь частичное решение проблемы. Данные в таких системах хранятся в упорядоченном виде. Неопределенные значения устраняются, и то частично, только в том случае, если мы за счет выбора порядка сортировки сгруппируем их в максимально большие непрерывные группы. Следовательно, использование многомерных СУБД оправдано только при следующих условиях:
●Объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), то есть уровень агрегации данных достаточно высок;
●Набор информационных измерений стабилен (поскольку любое изменение в их структуре почти всегда требует полной перестройки гиперкуба);
●Время ответа системы на нерегламентированные запросы является наиболее критичным параметром;
●Требуется широкое использование сложных встроенных функций для выполнения кроссмерных вычислений над ячейками гиперкуба, в том числе возможность написания пользовательских функций.
Однако неверно было бы противопоставлять или говорить о какой либо конкуренции реляционного и многомерного подходов. Эти два подхода взаимно дополняют друг друга. Реляционный подход никогда не предназначался для решения на его основе задач, требующих синтеза, анализа и консолидации данных. Предполагалось, что такого рода функции, должны реализовываться с
помощью внешних по отношению к реляционным СУБД инструментальных средств. В настоящее время, многомерные СУБД всё чаще используются не только как самостоятельный программный продукт, но и как аналитические средства в хранилищах данных или традиционных оперативных системам, реализуемых средствами реляционных СУБД. Такое решение позволяет наиболее полно реализовать и использовать достоинства каждого из подходов: компактное хранение детализированных данных и поддержка очень больших баз данных, обеспечиваемые реляционными СУБД и простота настройки и хорошие времена отклика, при работе с агрегированными данными, обеспечиваемые многомерными СУБД.
Достоинства
●В случае использования многомерных СУБД поиск и выборка данных осуществляется значительно быстрее, чем при многомерном концептуальном взгляде на реляционную базу данных, так как многомерная база данных денормализована, содержит заранее агрегированные показатели и обеспечивает оптимизированный доступ к запрашиваемым ячейкам.
●Многомерные СУБД легко справляются с задачами включения в информационную модель разнообразных встроенных функций, тогда как объективно существующие ограничения языка SQL делают выполнение этих задач на основе реляционных СУБД достаточно сложным, а иногда
и невозможным.
Недостатки
●Необходимость привлечения высококвалифицированных программистов для малейших изменений структуры базы данных.
●Невозможность для конечного пользователя самостоятельно анализировать данные в порядке, не предусмотренном программистами.
14.Основные понятия реляционной модели данных: реляционная база данных, отношение, схема отношения, сущность, атрибут, домен, кортеж,первичный ключ.
Реляционные базы данных - состоят из таблиц, связанных между собой по значениям определенных столбцов. Каждая таблица состоит из столбцов (их называют полями или атрибутами) и строк (их называют записями или кортежами).
Отношение – двухмерная таблица не содержащая строк-дубликатов Сущность есть объект любой природы, данные о котором хранятся в базе данных. Данные о сущности хранятся в отношении
Запись – строка (ряд, запись, row, кортеж) таблицы Отношение – множество кортежей
Атрибут (столбец). Атрибуты представляют собой свойства, характеризующие сущность. В структуре таблицы каждый атрибут именуется и ему соответствует заголовок некоторого столбца таблицы
Первичный ключ – атрибут или совокупность атрибутов однозначно идентифицирующих строку отношения.
Каждая таблица может содержать только один первичный ключ. Ключ, состоящий из одного атрибута, называется простым.
Ключ, состоящий из нескольких атрибутов, называется составным. Естественный ключ – первичный ключ, состоящий из информационных полей таблицы (то есть полей, содержащих полезную информацию об описываемых объектах).
Суррогатный ключ – автоматически сгенерированное поле, никак не связанное с информационным содержанием записи. Обычно в роли СК выступает автоинкрементное поле типа INTEGER.
Свойства ключа:
●Уникальность
●Неизбыточность
●Не может содержать пустых значений
Ключи обычно используют для достижения следующих целей:
●исключения дублирования значений в ключевых атрибутах (остальные атрибуты в расчет не принимаются)
●упорядочения кортежей
●ускорения работы с кортежами отношения;