Финансовые хранилища данных

В большинстве случаев финансовые ХД организации строят в первую очередь. Создание финансового ХД — необходимый компонент финансовой инфраструктуры любой организации.

Хранилища данных в области страхования

ХД в области страхования, за некоторыми небольшими исключениями, похожи на все другие. Первое исключение (характерное для западных компаний) заключается в том, что продолжительность существования имеющихся ХД очень велика. Такие ХД содержат данные, которые являются очень старыми (до начала XX века)

Хранилища данных для управления персоналом

ХД для управления людскими ресурсами имеют весьма существенные отличия от других ХД. Первое отличие — число предметных областей. Такое ХД неизбежно имеет одну важную предметную область — это работник. Практически все остальное подчинено этой области или занимает второстепенное положение. Большинство же других ХД имеют несколько базовых предметных областей.

Глобальные хранилища данных

Глобальные хранилища данных предназначены для глобального представления деятельности организации.

Хранилища данных с возможностями обнаружения новых данных (Data Mining)

ХД, поддерживающие технологию обнаружения новых данных (Data Mining), являются гибридом классических ХД. Они используются для выполнения мощной статистической обработки данных.

Хранилища данных в области телекоммуникаций

Отличительная особенность этих ХД состоит в том, что они в значительной степени определяются данными, касающимися факта телефонных разговоров. Разумеется, в отрасли телекоммуникации присутствует множество других типов данных. Но ни одна другая область ХД не предопределяется в такой степени размером одной предметной области — деталями на уровне разговора.

59. Возможности СУБД Access по администрированию БД

В задачу администрирования базы данных, защищенной на уровне пользователей, входит выполнение следующих действий:

подключение файла рабочей группы для работы с защищенной базой данных;

- добавление нового пользователя в рабочую группу и задание для него прав доступа к объектам и прав на владение объектами базы данных (это осуществляется обычно включением его в состав определенных групп внутри рабочей группы);

- добавление новой группы пользователей в рабочую группу и задание для нее прав доступа к объектам базы данных;

- удаление учетной записи пользователя из файла рабочей группы;

- удаление учетной записи группы из файла рабочей группы;

- изменение пароля пользователя;

- восстановление испорченного файла рабочей группы из резервной копии или путем его воссоздания, используя специально сохраненную информацию об учетных записях пользователей и рабочих групп (включающую имена пользователей и групп и их персональные идентификаторы (PID)).

39. Технологические решения хранилища данных

По мере развития информационных возможностей компаний современное корпоративное хранилище претерпевает существенные технологические изменения. Очередным крупным шагом на этом пути должно стать ХД, обеспечивающее как анализ исторических данных, так и работу в реальном времени – так называемое «активное» хранилище. Стимулирующими факторами здесь являются растущие потребности клиентов, в частности в отношении скорости предоставления услуг, а также более серьезные нормативные требования к поддержке исторической информации о бизнесе. Дальновидное руководство понимает, что хранилище может сыграть ключевую роль в реализации всей стратегии бизнеса в целом. Расширяя его применение до уровня сотрудников, занимающихся операционной деятельностью, поставщиков и клиентов, — компании получают растущий объем данных, но при этом обеспечивают принятие более грамотных решений. Информация — это ресурс, зависящий от времени, и ее своевременность напрямую определяет ее ценность для бизнеса. Когда средства BI не ограничиваются управлением отчетностью за прошлые периоды и долгосрочным планированием, их возможности выходят за рамки предприятия, расширяя круг пользователей (начиная от обслуживающего персонала, сотрудников центров обработки звонков, и закачивая поставщиками, партнерами и даже клиентами). Традиционные хранилища данных поддерживаются за счет периодического выполнения пакетных работ, когда из операционных данных извлекаются некоторые большие выборки долговременных данных, проводится их очистка, преобразование и загрузка в хранилище. Эффективное «активное» хранилище, требует постоянного обнаружения и доставки в него данных в реальном времени из ключевых транзакционных систем. Для интеграции в реальном времени существующий пакетный метод нужно заменить на процессы, которые непрерывно отслеживают состояние исходных систем, фиксируют и преобразуют изменения в данных по мере их возникновения, а затем загружают эти изменения в хранилище; и чем режим их работы ближе к реальному времени, тем лучше. В последнее время новые технологии, такие как передача сообщений (messaging) и интеграция корпоративных приложений (EAI), обеспечили лучшие возможности построения активных хранилищ данных и более качественную интегрированную аналитику.

39. Программное обеспечение для разработки хранилища данных

Одной из главных целей разработки ХД является программное обеспечение компьютерной поддержки принятия решений по всем или основным видам деятельности организации. Каждый вид деятельности организации является отдельной задачей, решение которой может быть, а может и не быть увязано с решением других задач в рамках организации. Вид деятельности организации или направление бизнеса совместно со спектром соответствующих ему бизнес-задач определяют предметную область ХД.

Основные компоненты:

• Программное обеспечение промежуточного слоя.

• Базы данных систем оперативной обработки данных (OLTP) и данные внешних источников

• Предварительная обработка и загрузка данных.

• Хранилище данных.

• Метаданные.

• Уровень доступа к данным.

• Уровень информационного доступа.

• Уровень администрирования.

39. Пользователи БД. Проблемы многопользовательских БД. Функции администратора БД

Пользователи являются клиентами БД — она проектируется, создается и поддерживается для того, чтобы обслуживать их информационные потребности. Пользователей можно классифицировать по способу использования ими системы. • Рядовые пользователи.

• Опытные пользователи.

Администратор данных отвечает за управление данными, включая планирование БД, разработку и сопровождение стандартов, прикладных алгоритмов и деловых процедур, а также за концептуальное и логическое проектирование БД. АД консультирует и дает свои рекомендации руководству высшего звена, контролируя соответствие общего направления развития БД. Администратор БД отвечает за физическую реализацию БД, включая физическое проектирование и воплощение проекта, за обеспечение безопасности и целостности данных, за сопровождение операционной системы, а также за обеспечение максимальной производительности приложений и пользователей. По сравнению с АД обязанности АБД носят более технический характер, и для него необходимо знание конкретной СУБД и системного окружения. В одних организациях между этими ролями не делается различий, а в других важность корпоративных ресурсов отражена именно в выделении отдельных групп персонала с указанным кругом обязанностей.

Естественным следствием развития СУБД является проблема организации совместной работы нескольких пользователей с одной и той же совокупностью данных, или, кратко, проблемы многопользовательского доступа к данным. С точки зрения организации совместного доступа к данным со стороны нескольких пользователей режимы работы с ними делятся на режим монопольного (эксклюзивного) доступа и режим общего (разделенного) доступа. Режим монопольного доступа к БД предусматривает, что только один из пользователей (программных процессов) может работать с ней, а возможность ее открытия другими пользователями (процессами) блокируется. Открытие БД в монопольном режиме, используется для выполнения операций по изменению структуры таблиц и связей между ними, экспорта большого количества информации, выполнения служебных операций с данными Соответственно, в режиме разделенного доступа сразу несколько пользователей могут работать с БД. Для предотвращения возможных конфликтов при попытках со стороны различных пользователей изменить одни и те же записи в СУБД используется механизм блокировок. Блокировка того или иного объекта в случае работы с ним какого-либо пользователя означает предотвращение любых других попыток изменить этот объект, но при этом сохраняется возможность его чтения. Таким образом, механизм блокировок предоставляет более гибкие возможности для манипуляций с данными по сравнению с режимом монопольного доступа. Для различных СУБД конкретные технические решения по реализации аппарата блокировок существенно различаются. В MS Access, в частности, при изменении записи одним пользователем по умолчанию происходит ее автоматическая блокировка вплоть до момента завершения операции. При создании форм, отчетов или запросов в Access предусмотрены возможности задания параметров режима блокировки.

39. Актуальность, методы защиты и правовая охрана БД

Данные в компьютерной форме сосредоточивают в физически локальном и небольшом объеме огромные массивы информации, несанкционированный доступ к которой или ее разрушение могут приводить порой к катастрофическим последствиям и ущербу. Возможность быстрого, во многих случаях практически мгновенного, и без следов копирования огромных массивов данных, находящихся в компьютерной форме, в том числе и удаленно расположенных, дополнительно провоцирует злоумышленников на несанкционированный доступ к информации, ее несанкционированную модификацию или разрушение.

Понятие защиты применимо не только к информации, храня­щейся в базах данных, необходимость защиты информации мо­жет возникать и в других частях информационных систем, что, в свою очередь, обусловит защиту и самой базы данных. Следова­тельно, защита базы данных является комплексной задачей и дол­жна охватывать все коммуникационные системы ЛВС предприя­тия, включая оборудование, программное обеспечение, персо­нал и собственно данные.

База данных представляет собой важнейший корпоративный ресурс, который должен быть надлежащим образом защищен с помощью соответствующих средств контроля.

39. Восстановление БД

Восстановление базы данных — это функция СУБД, которая в случае логических и физических сбоев приводит базу данных в актуальное и консистентное состояние.

В случае логического отказа или сигнала отката одной транзакции журнал изменений сканируется в обратном направлении, и все записи отменяемой транзакции извлекаются из журнала вплоть до отметки начала транзакции. Согласно извлеченной информации выполняются действия, отменяющие действия транзакции. Этот процесс называется откат (rollback).

В случае физического отказа, если ни журнал изменений, ни сама база данных не повреждены, то выполняется процесс прогонки (rollforward). Журнал сканируется в прямом направлении, начиная от предыдущей контрольной точки. Все записи извлекаются из журнала вплоть до конца журнала. Извлеченная из журнала информация вносится в блоки данных внешней памяти, у которых отметка номера изменений меньше, чем записанная в журнале. Если в процессе прогонки снова возникает сбой, то сканирование журнала вновь начнется сначала, но восстановление фактически продолжится с той точки, где оно прервалось.

В случае физического отказа, если журнал изменений доступен, но сама база данных повреждена, то должен быть выполнен процесс восстановления базы из резервной копии. После восстановления база будет находиться в состоянии на момент выполнения резервной копии. Для восстановления базы данных на момент отказа необходимо выполнить прогонку всех изменений, используя журнал изменений.

В случае физического отказа, если журнал изменений недоступен, но сама база данных не повреждена, восстановление возможно только на момент предыдущей контрольной точки.

В случае физического отказа, если повреждены как журнал изменений, так и сама база данных, то восстановление возможно только на момент выполнения резервной копии.

39. Оптимизация работы БД

В число часто используемых средств восстановления БД входят резервное копирование и журнал изменений БД.

При осуществлении резервного копирования БД необходимо выполнять следующие требования:

· копия создается в момент, когда состояние базы данных является целостным;

· копия создается на иных внешних устройствах, чем то, на котором располагается сама база. Это вызвано тем, что в случае выхода из строя этого устройства восстановить БД будет невозможно.

Полная резервная копия включает всю БД – все файлы БД, в том числе, вспомогательные, состав которых зависит от СУБД. Частичная резервная копия включает часть БД, определенную пользователем. Периодичность резервного копирования зависит от многих факторов: интенсивности обновления данных, частоты выполнения запросов, объема БД и др. В случае сбоя или аварии носителя БД ее можно восстановить на основе последней резервной копии.

Общая стратегия восстановления БД заключается в переносе на рабочее устройство резервной копии БД или той ее части, которая была повреждена, и повторном проведении всех изменений, зафиксированных после создания данной резервной копии и до момента возникновения сбоя.

Журнал изменений БД – это особая часть БД, недоступная пользователям СУБД, в которую поступают записи обо всех изменениях основной БД. Для эффективной реализации функции ведения журнала изменений базы данных необходимо обеспечить повышенную надежность хранения и поддержания в рабочем состоянии самого журнала. Иногда для этого в системе хранят несколько копий журнала. В разных СУБД изменения БД фиксируются в журнале на разных уровнях. Иногда запись в журнале соответствует некоторой операции изменения базы данных, а иногда – минимальной внутренней операции модификации страницы внешней памяти. В большинстве современных реляционных СУБД журнал изменений называется журналом транзакций. В нем регистрируются в хронологическом порядке все изменения, вносимые в БД каждой транзакцией.

39. Знания, их виды. Базы знаний. Экспертные системы

Знания – это закономерности предметной области, полученные в результате практической деятельности и профессионального опыта, позволяющие специалистам ставить и решать задачи в этой области.

При обработке на ЭВМ знания трансформируются аналогично данным:

1. Знания в памяти человека как результат мышления

2. Материальные носители знаний

3. Поле знаний – условное описание основных объектов предметной области, их атрибутов и закономерностей их связывающих

4. Знания, описанные на языках представления знаний

5. База знаний на машинных носителях информации

Базы знаний  — это особого рода БД, разработанная для оперирования знаниями (метаданными). БЗ содержит структурированную информацию, покрывающую некоторую область знаний, для использования кибернетическим устройством с конкретной целью. Современные базы знаний работают совместно с системами поиска информации, имею тклассификационную структуру и формат представления знаний.

Полноценные БЗ содержат в себе не только фактическую информацию, но и правила вывода, допускающие автоматические умозаключения о вновь вводимых фактах и, как следствие, осмысленную обработку информации. Область наук об искусственном интеллекте, изучающая базы знаний и методы работы со знаниями, называется инженерией знаний.

Иерархический способ представления в базе знаний набора понятий и их отношений называется онтологией. Онтологию некоторой области знаний вместе со сведениями о свойствах конкретных объектов также можно назвать базой знаний.

Простые БЗ могут использоваться для создания экспертных систем хранения данных в организации: документации, руководств, статей технического обеспечения. Главная цель создания таких баз — помочь менее опытным людям найти уже существующее описание способа решения какой-либо проблемы.

Экспе́ртная систе́ма - компьютерная система, способная частично заменить специалиста-эксперта в разрешении проблемной ситуации. Современные ЭС начали разрабатываться исследователями искусственного интеллекта в 1970-х годах, а в 1980-х получили коммерческое подкрепление. Предтечи экспертных систем были предложены в 1832 году С. Н. Корсаковым, создавшим механические устройства, так называемые «интеллектуальные машины», позволявшие находить решения по заданным условиям, например, определять наиболее подходящие лекарства по наблюдаемым у пациента симптомам заболевания.

39. Продукционные модели. База фактов, база правил, работа машины вывода, стратегия управления выводом в экспертной системе на основе продукционной модели

Продукционные модели используются для решения более сложных задач, которые основаны на применении эвристических методов представления знаний, позволяющих настраивать механизм вывода на особенности проблемной области и учитывать неопределенность знаний. Продукционная модель предполагает более гибкую организацию работы механизма вывода по сравнению с логической моделью. Отличительной особенностью продукционной модели является также способность осуществлять выбор правил из множества возможных на данный момент времени в зависимости от определенных критериев, например, важности, трудоемкости, достоверности получаемого результата и других характеристик проблемной области.

В продукционной модели основной единицей знаний служит правило в виде: "если <посылка>, то <заключение>", с помощью которого могут быть выражены пространственно-временные, причинно-следственные, функционально-поведенческие (ситуация - действие) отношения объектов. Правилами могут быть описаны и сами объекты: "объект - свойство" или "набор свойств - объект", хотя чаще описания объектов фигурируют только в качестве переменных ("атрибут - значение") внутри правил. В основном продукционная модель предназначена для описания последовательности различных ситуаций или действий и в меньшей степени для структурированного описания объектов.

39. Семантические сети. Виды отношений. Пример семантической с ети. Функциональные возможности редакции онтологии Protege

Семанти́ческая сеть — информационная модель предметной области, имеющая вид ориентированного графа, вершины которого соответствуют объектам предметной области, а дуги (рёбра) задают отношения между ними. Объектами могут быть понятия, события, свойства, процессы. Таким образом, семантическая сеть является одним из способов представления знаний, наряду столковыми словарями и учебниками. В названии соединены термины из двух наук: семантика в языкознании изучает смысл единиц языка, а сеть в математике представляет собой разновидностьграфа — набора вершин, соединённых дугами (рёбрами), которым присвоено некоторое число. В семантической сети роль вершин выполняют понятия базы знаний, а дуги (причем направленные) задают отношения между ними. Таким образом, семантическая сеть отражает семантику предметной области в виде понятий и отношений.

Количество типов отношений в семантической сети определяется её создателем, исходя из конкретных целей. В реальном мире их число стремится к бесконечности. Каждое отношение является, по сути, предикатом, простым или составным. Скорость работы с базой знаний зависит от того, насколько эффективно реализованы программы обработки нужных отношений.

Отношения бывают:

- Иерархические

- Вспомогательные

39. Фреймы, их виды, структура. Сети фреймов. Примеры фреймов

Фрейм (от англ. frame — рамка) — отдельный, законченный HTML-документ, который вместе с другими HTML-документами может быть отображён в окне браузера.

Фреймы по своей сути очень похожи на ячейки таблицы, однако более универсальны. Фреймы разбивают веб-страницу на отдельные миникадры, расположенные на одном экране, которые являются независимыми друг от друга. Каждое окно может иметь собственный адрес. При нажатии на любую из ссылок, расположенных в одном фрейме, можно продолжать видеть страницы в других окнах.

Фреймы часто использовались для навигации по веб-сайту. При этом навигационная страница располагается в одном окне, а страницы с текстом — в другом.

В настоящее время использование фреймов для публичных сайтов не рекомендовано. Главным образом это связано с принципом работы поисковых машин, которые приводят пользователя к HTML-документу, являющемуся согласно задумке лишь одним из фреймов того, что автору сайта хотелось бы представить. Данный недостаток фреймов устраняется средствами JavaScript.

Различают фреймы-образцы, или прототипы, хранящиеся в базе знаний, и фреймы-экземпляры, которые создаются для отображения реальных ситуаций на основе поступающих данных.

Модель фрейма является достаточно универсальной, поскольку позволяет отобразить все многообразие знаний о мире через:

• фреймы-структуры, для обозначения объектов и понятий (заем, залог, вексель);

• фреймы-роли (менеджер, кассир, клиент);

• фреймы-сценарии (банкротство, собрание акционеров, празднование именин);

• фреймы-ситуации (тревога, авария, рабочий режим устройства) и др.

39. Формальные логические модели. Их примеры

В основе моделей такого типа лежит понятие формальной системы.

Постановка и решение любой задачи связаны с определенной предметной областью. Так, решая задачу анализа рынка, мы вовлекаем в предметную область такие объекты, как конкретные регионы, конкретные товары, конкретные даты и общие понятия "регион", "товар", "дата" и т.д.

Все предметы и события, которые составляют основу общего понимания необходимой для решения задачи информации, называются предметной областью. Мысленно предметная область представляется состоящей из реальных объектов, называемых сущностями.

Сущности предметной области находятся в определенных отношениях друг к другу. Отношения между сущностями выражаются с помощью суждений. В языке (формальном или естественном) суждениям отвечают предложения.

Языки, предназначенные для описания предметных областей ,называются языками представления знаний. Универсальным языком представления знаний является естественный язык. Однако использование естественного языка в системах машинного представления знаний наталкивается на ряд препятствий, главным из которых является отсутствие формальности естественного языка.

Логические выражения, построенные на языке представления знаний, могут быть истинными или ложными. Некоторые из этих выражений, являющиеся всегда истинными, объявляются аксиомами (или постулатами). Они составляют ту базовую систему посылок, исходя из которой и пользуясь определенными правилами вывода, можно получить заключения в виде новых выражений, также являющихся истинными.

Если перечисленные условия выполняются, то говорят, что система удовлетворяет требованиям формальной теории и такую систему называют формальной или аксиоматической.