Занятие №7
Сохранение и поиск информации. Общие принципы сохранения информации.
Основы технологии баз данных. Вопросы физической организации баз данных.
Автоматизированные банки информации.
Общие принципы сохранения информации
Чтобы обеспечить сохранение информации, информационная система должна полученную и, по возможности, переработанную информацию преобразовать в физическое явление, т.е. занести на соответствующий носитель. Носитель должен, с одной стороны, легко изменять структуру при занесении информации, а с другой стороны – быть стойким к разрушению.
Различают носители для оперативного и долгосрочного сохранения информации в зависимости от минимального времени до момента занесения информации на носитель и до её уничтожения.
Однако, время, когда информация совсем изменится, неизвестно. Иногда информация, которая внесена одним субъектом, в определённое время утрачивает своё значение для него, приобретает значительную ценность для других субъектов.
Вспомним возможные классификации машинных носителей информации:
По материалу, из которого изготовлены (бумажные, пластмассовые, металлические, комбинированные);
По принципу изменения структуры (оптические, фотооптические, магнитные, полупроводниковые, диэлектрические);
По методу считывания (контактные, оптические, магнитные, электрические);
По способу доступа (с возможностью прямого доступа и с последовательным доступом.
Для реализации информационного процесса, связанного с сохранением больших объёмов информации, важное значение имеют такие характеристики, как объём памяти, время доступа и частота записи.
Основы технологии баз данных
Современный этап развития информационных процессов характеризуется тем, что процедуры сохранения больших объёмов информации и поиск необходимых сведений осуществляется с помощью баз и банков данных, которые представляют собой совокупность данных, отображающих состояние объекта или множества объектов, их свойства и взаимоотношения.
По сути дела, БД можно рассматривать как информационную модель данного объекта, от правильной организации и достоверности которой зависит эффективность управления объектом.
Исторически понятие «база данных» возникло как альтернатива файловой организации данных при хранении с помощью ЭВМ (на магнитных носителях). Такая организация данных была характерна для прикладного ПО на начальном этапе распространения ВТ. Файловая организация предполагала хранение данных в виде совокупности файлов, ориентированных на использование какой-либо одной прикладной программы, предназначенной для решения некоторой специфической задачи. Такая неуниверсальность в организации информации привела к большой избыточности (дублированию) при хранении, противоречивости данных, хранящихся в различных системах.
Понятие «база данных» возникло в результате стандартизации и унификации данных, универсально организованных и хранящихся с помощью ЭВМ с целью использования для многих приложений. При этом описание данных уже не скрыто в программах, а явным образом декларируется и хранится в самой базе.
Банк данных (БнД) — это система специальным образом организованных данных — баз данных, программных, технических, языковых, организационно-методических средств, предназначенных для обеспечения централизованного накопления и коллективного многоцелевого использования данных.
База данных (БД) — именованная совокупность данных, отражающая состояние объектов и их отношений в рассматриваемой предметной области.
База данных – это реализованная с помощью компьютера информационная структура (модель), отражающая состояние объектов и их отношения.
База данных (с точки зрения пользователя) – это структурная совокупность данных, поддерживаемых в актуальном состоянии (в соответствии объектам некоторой предметной области) и служащая для удовлетворения информационных потребностей пользователей.
База данных – это совокупность данных, которые обладают свойствами структурированности и взаимосвязанности, а также независимости от прикладных программ.
Программы, с помощью которых пользователи работают с базой данных, называются приложениями. В общем случае с одной базой данных могут работать множество различных приложений.
Например, если база данных моделирует некоторое предприятие, то для работы с ней может быть создано приложение, которое обслуживает подсистему учета кадров, другое приложение может быть посвящено работе подсистемы расчета заработной платы сотрудников, третье приложение работает как подсистемы складского учета, четвертое приложение посвящено планированию производственного процесса. При рассмотрении приложений, работающих с одной базой данных, предполагается, что они могут ра6отать параллельно независимо друг от друга, и именно СУБД призвана обеспечить работу множества приложений с единой базой данных таким образом, чтобы каждое из них выполнялось корректно, но учитывало все изменения в базе данных, вносимые другими приложениями.
Коллектив специалистов, обслуживающих большие БД, включает администратора, аналитиков, прикладных и системных программистов.
Администратор – это специалист, имеющий представление об информационных потребностях конечных пользователей и отвечающий за определение, загрузку, защиту и эффективность БД.
Аналитики, обладая знаниями закономерностей соответствующей предметной области, в контакте с конечными пользователями строят формальные (математические) модели для задач конечного пользователя, которые являются исходным представлением задачи для прикладного программиста.
Прикладные программисты на основе представления задачи, полученного аналитиками, разрабатывают прикладные программы для решения задач конечных пользователей.
Системные программисты обеспечивают работоспособность ОС, систем программирования СУБД, разрабатывают сервисные программы.
Для поддержания актуальности данных, хранящихся в БД, получения сводок по информационным запросам, перехода к данным и программам служат СУБД. Основой СУБД являются два языка – язык описания данных (ЯОД) и язык манипулирования данными (ЯМД). С помощью ЯОД АБД и программисты описывают структуру и содержимое БД. ЯМД является средством, которое применяется пользователями или прикладным программистомдля выполнения операций над данными, хранящимися в базе: добавления новых данных, изменения или удаления устаревших, упорядочения данных по тем или иным признакам, поиска данных в соответствии с запросами.
Интеграция данных в базе подразумевает совместное использование данных для решения различных прикладных задач и устраняет дублирование данных. Однако согласованное понимание и использование данных требует централизованного управления, которое называется администрированием данных. Замечание. В данном случае речь идёт не о собственно значениях данных, а их смысле и форме.
Перечень важнейших требований, которым должны удовлетворять современные базы данных:
Адекватность БД предметной области;
Интегрированность данных;
Независимость данных;
Минимальная избыточность хранимых данных;
Целостность БД;
Обеспечение защиты от несанкционированного доступа или случайного уничтожения данных;
Гибкость и адаптивность структуры БД;
Динамичность данных и способность к расширению;
Возможность поиска по многим ключам.
Преимущества использования БД
Рассмотрим, какие преимущества получает пользователь при использовании БД как безбумажной технологии.
компактность - информация хранится в БД, нет необходимости хранить многотомные бумажные картотеки
скорость - скорость обработки информации (поиск, внесение изменений) компьютером намного выше ручной обработки
низкие трудозатраты - нет необходимости в утомительной ручной работе над данными
применимость - всегда доступна свежая информация
Дополнительные преимущества появляются при использовании БД в многопользовательской среде, поскольку становится возможным осуществлять централизованное управление данными.
Рассмотрим подробнее преимущества, связанные с централизованным управлением:
- сокращение избыточности данных
В случае, когда для каждого приложения используется свой файл с данными, возможна ситуация, когда информация дублируется в разных файлах, т.е. является избыточной. Такая ситуация ведет к перерасходу памяти, а также к появлению противоречивой информации.
Например, приложение, связанное с учетом персонала, хранит информацию о сотрудниках.
Подобную информацию может хранить и бухгалтерское приложение. Для сокращения избыточности, можно объединить общие данные в одном файле, к которому будут обращаться оба приложения (при условии, если администратор данных знает, какие данные нужны для каждого приложения). Это не значит, что избыточность данных должна быть полностью устранена. Иногда приходится хранить резервные копии данных (например, для восстановления после сбоев). Такая избыточность должна строго контролироваться, т.е. должна быть предусмотрена возможность обновления таких копий.
- устранение противоречивости
Как было сказано выше, противоречивость появляется как следствие избыточности данных.
Например, если информация о сотруднике хранится в нескольких файлах (БД, таблицах или записях), то может возникнуть ситуация, когда информация в одном месте будет обновлена, а в другом – нет. Т.е. информация станет противоречивой. Если же факт представлен в одном экземпляре (т.е. при отсутствии избыточности), то противоречия возникнуть не могут. Другой способ устранения противоречий заключается в контроле избыточности с помощью процесса каскадного обновления. В этом случае при внесении изменений (вставки, удалении или обновлении) в одном месте, оно должно автоматически распространяться на все записи.
- общий доступ к данным
Общий доступ к данным означает возможность доступа к данным со стороны нескольких приложений, как существующих, так и вновь создаваемых.
- возможность соблюдения стандартов
Благодаря централизованному управлению администратор БД может обеспечивать представление данных в определенных стандартах. Стандарты могут быть корпоративными, ведомственными, национальными, международными. Стандартизация важна для обмена данными, перенесения данных между системами, а также для совместного использования.
- возможность введения ограничений для обеспечения безопасности
Благодаря полному контролю над базой данных администратор БД может определить правила безопасности, которые будут проверяться при попытке доступа к уязвимым данным. Для разных типов доступа (выборки, вставки, удаления и т.д.) и разных частей БД можно определить разные правила доступа. Однако при отсутствии правил безопасность данных подвергается большему риску, чем в обычной (разрозненной) файловой системе, т.е. централизованная природа системы баз данных (СУБД) в некотором смысле требует наличия хорошей системы безопасности.
- обеспечение целостности данных
Задача целостности заключается в обеспечении правильности и точности данных в базе данных. Противоречие между двумя записями, представляющими один «факт», является примером недостатка целостности; конечно, эта проблема может возникнуть только при наличии избыточности в хранимых данных (см. пункт сокращение избыточности). Но даже если избыточность отсутствует, БД может содержать неправильную информацию. Например, год рождения сотрудника указан как 1999, тогда как сейчас 2004 год (возраст сотрудника – 5 лет?), или в домашнем адресе сотрудника указана несуществующая улица. Централизованное управление БД позволяет избежать подобных проблем – насколько их вообще можно избежать. Для этого определяются правила целостности, применяемые при каждой попытке обновления данных (т.е. операции обновления, вставки или удаления).
- обеспечение независимости данных
Приложения, реализованные на старых системах, в той или иной степени зависят от данных. В таких приложениях (называемых зависимыми от данных) невозможно изменить структуру хранения (т.е. способ физического хранения данных) или метод доступа (т.е. способ осуществления доступа к данным), не изменив самого приложения (возможно, радикально). Современные системы управления базами данных обеспечивают как физическую (независимость от способа хранения и метода доступа), так и логическую независимость данных (возможность изменения одного приложения без изменения остальных приложений, работающих с этими же данными).
СУБД
Чтобы оперировать данными, составляющими базу, необходима отдельная программа – система управления базами данных.
Управляющая программа, предназначенная для хранения, поиска и обработки данных в базе, называется системой управления базами данных.
Современные СУБД – это программные приложения, которые позволяют решать многообразные задачи. Иными словами, СУБД является интерфейсом между базой данных и прикладными задачами.
Основные функции СУБД:
Определение данных – определить, какая именно информация будет храниться в БД, задать свойства данных, их тип, форматы, критерии проверки данных.
Обработка данных – данные могут обрабатываться самыми различными способами. Можно выбирать любые поля, сортировать, фильтровать данные, можно объединять данные с другой, связанной с ними, информацией и вычислять итоговые значения.
Управление данными – можно указать, кому разрешенознакомиться с данными, корректировать их или добавлять новую информацию. Можно также определять правила коллективного доступа.
В настоящее время можно выделить 5 этапов развития СУБД:
Реляционные БД, 1970-1990
Объектно-ориентированные БД, 1980-1990
Интеллектуальные БД, 1985-1990
Распределённые БД, начало 1990
БД мультимедиа и виртуальной реальности настоящего времени, конец 1990.
Все существующие системы удовлетворяют, как правило, следующим требованиям.
Возможности манипулирования данными (ввод, выбор, вставка, обновление, удаление и др.). Основные операции с данными выполняютсяпод управлением СУБД. Важными показателями при этом являются производительность СУБД, стоимость хранения и использования данных, простота обращения к базе данных и проч.
Возможность поиска и формирования запросов. С помощью запросов пользователь может оперативно получать различного вида информацию, которая хранится в БД.
Обеспечение целостности (согласованности) данных. При использовании данных многими пользователями можно обеспечить корректность операций, при которых не может быть нарушена согласованность данных. Нарушение согласованности данных чревато их необратимой потерей.
Обеспечение защиты и секретности. Кроме защиты от некорректных действий пользователей, важно обеспечить защиту данных от несанкционированного доступа и от аппаратных сбоев. Проникновение в базу лиц, не имеющих на это права, может иметь следствием разрушение данных. Секретность БД позволяет определить круг лиц, имеющих доступ к информации, и порядок доступа.
Входящие в состав современныых СУБД средства совместно выполняют следующие функции:
Описание данных, их структуры (обычно описание данных и их структуры происходит при инициировании новой БД или добавлении к существующей базе новых разделов (отношений); описание данных необходимо для контроля корректности использования данных, для поддержания целостности БД);
Первичный ввод, пополнение информации в БД;
Удаление устаревшей информации;
Корректировку данных для поддержания их актуальности;
Упорядочение (сортировку) данных по некоторым признакам;
Поиск информации по некоторым признакам (для описания запросов имеется специальный язык запросов, он обеспечивает также интерфейс между БД и прикладными программами пользователей, позволяет этим программамиспользовать БД);
Подготовку и генерацию отчётов (средства подготовки отчётов позволяют создавать и распечатывать сводки по заданным формамна основе информации БД);
Защиту информации и разграничение доступа пользователей к ней (некоторые разделы БД могут быть закрыты для пользователя совсем, открыты только для чтения или открыты для изменения; кроме того, при многопользовательском режиме работы с БД необходимо, чтобы изменения вносились корректно; для сохранения целостности данных служит механизм трансакций при манипулировании данными – выполнение манипуляций небольшими пакетами, результаты каждого из которых в случае возникновения некорректности операций «откатываются» и данные возвращаются к исходному состоянию);
Резервное сохранение и восстановление БД, которое позволяет восстановить утраченную при сбоях и авариях апаратуры информацию БД, а также накопить статистику работы пользователей с БД;
Поддержку интерфейса с пользователями.
В настоящее время существует множество СУБД, которые различаются архитектурой, внутренним языком программирования, операционной системой, под управлением которой они работают, а также другими характеристиками. Среди СУБД, которые устанавливаются в небольших организациях и ориентированны на работу с конечными пользователями, наиболее популярны Access, FoxPro, Paradox. К более сложным системам относятся распределённые СУБД, которые предназначены для работы с большими базами данных, распределёнными на нескольких серверах (серверы могут находится в различных регионах). Мощными СУБД такого типа являются Oracle, Sybase, Informix.
В те годы, когда формировалось понятие баз данных, в них действительно хранились только данные. Однако сегодня большинство СУБД позволяют размещать в своих структурах не только данные, но и методы (то есть программный код), с помощью которых происходит взаимодействие с потребителемили с другими программно-аппаратными комплексами. Т.о., мы можем говорить, что в современных БД хранятся отнюдь не только данные, но и информация.
Это утверждение легко пояснить, если, например, рассмотреть БД крупного банка. В ней есть все необходимые сведения о клиентах, их адресах, кредитной истории, состоянии расчётных счетов, финансовых операциях и т.д. Доступ к этой БД имеется у достаточно большого количества сотрудников банка, но среди них вряд ли найдётся такое лицо, которое имеет доступ ко всей базе полностью и при этом способно единолично вносить в неё произвольные изменения. Кроме данных, база содержит методы и средства, позволяющие каждому из сотрудников оперировать только с теми данными, которые входят в его компетенцию. В результате взаимодействия данных, содержащихся в базе, с методами, доступными конкретным сотрудникам, образуется информация, которую они потребляют и на основании которой в пределах собственной компетенции производят ввод и редактирование данных.
В мире существует множество систем управления базами данных. Несмотря на то, что они могут по-разному работать с разными объектами и предоставляют пользователю различные функции и средства, большинство СУБД опираются на единый устоявшийся комплекс основных понятий.
Базы данных и информационные системы
Автоматизированными называются ИС, в которых применяют технические средства, в частности ЭВМ. Большинство существующих ИС являются автоматизированными, поэтому для краткости будем называть их ИС.
В широком понимании под определение ИС подпадает любая система обработки информации. По области применения ИС можно разделить на системы, используемые в производстве, образовании, здравоохранении, науке, военном деле, социальной сфере, торговле и других отраслях. По целевой функции ИС можно разделить на следующие основные категории: управляющие, информационно-справочные, поддержки принятия решений.
Банк данных является разновидностью ИС, в которой реализованы функции централизованного хранения и накопления обрабатываемой информации, организованной в одну или несколько БД.
Банк данных в общем случае состоит из следующих компонентов: базы (нескольких баз) данных, СУБД, словаря данных, администратора, вычислительной системы и обслуживающего персонала.
БД - совокупность специальным образом организованных данных, хранимых в памяти ВС и отражающих состояние объектов и их взаимосвязей в рассматриваемой предметной области.
Логическую структуру хранимых в базе данных называют моделью представления данных. К основным моделям данных относятся: иерархическая, сетевая, реляционная, постреляционная, многомерная и объектно-ориентированная.
СУБД – комплекс языковых и программных средств, предназначенных для создания, ведения и совместного использования БД многими пользователями.
Приложение представляет собой программу или комплекс программ, обеспечивающих автоматизацию обработки информации для прикладной задачи. Нами рассматриваются приложения, использующие БД. Приложения могут создаваться в среде или вне среды СУБД – с помощью системы программирования, использующей средства доступа к БД, к примеру, Delphi или C++ Builder. Приложения, разработанные в среде СУБД, часто называют приложениями СУБД, а приложения, разработанные вне СУБД, - внешними приложениями.
Для работы с БД зачастую достаточно средств СУБД и не нужно использовать приложения, создание которых требует программирования. Приложения разрабатывают главным образом в случаях, когда требуется обеспечить удобство работы с БД неквалифицированным пользователям или интерфейс СУБД не устраивает пользователей.
Словарь данных (СД) представляет собой систему БнД, предназначенную для централизованного хранения информации о структуре данных, взаимосвязях файлов БД друг с другом, типах данных и форматах их представления, принадлежности данных пользователям, кодах защиты разграничения доступа и т.п.
АБД есть лицо или группа лиц, отвечающих за разработку требований к БД, её проектирование, создание, эффективное использование и сопровождение. Для однопользовательских ИС функции АБД обычно возлагаются на лиц, непосредственно работающих с приложениями БД.
В вычислительной сети АБД, как правило, взаимодействует с администратором сети. В обязанности последнего входят контроль за функционированием аппаратно-программных средств сети, реконфигурация сети, восстановление ПО после сбоев и отказов оборудования, профилактические мероприятия и обеспечение разграничения доступа.
Вычислительная система (ВС) представляет собой совокупность взаимосвязанных и согласованно действующих ЭВМ или процессоров или других устройств, обеспечивающих автоматизацию процессов приёма, обработки и выдачи информации потребителям. Поскольку основными функциями БнД являются хранение и обработка данных, то используемая ВС, наряду с приемлемой мощностью ЦП должна иметь достаточный объём ОП и внешней памяти прямого доступа.
Обслуживающий персонал выполняет функции поддержания технических и программных средств в работоспособном состоянии. Он проводит профилактические, регламентные, восстановительные и другие работы по планам, а также по мере необходимости.
Архитектура ИС
Эффективность функционирования ИС во многом зависит от её архитектуры. В настоящее время перспективной является архитектура клиент-сервер. В достаточно распространённом варианте она предполагает наличие компьютерной сети и распределённой базы данных, включающей корпоративную базу данных (КБД) и персональные базы данных (ПБД). КБД размещается на компьютере-сервере, ПБД размещаются на компьютерах сотрудников подразделений, являющихся клиентами корпоративной БД.
Сервером определённого ресурса в компьютерной сети называется компьютер (программа), управляющий этим ресурсом, клиентом – компьютер (программа), использующий этот ресурс. В качестве ресурса компьютерной сети могут выступать, к примеру, базы данных, файловые системы, службы печати, почтовые службы. Тип сервера определяется типом ресурса, которым он управляет. Например, если управляемым ресурсом является база данных, то соответствующий сервер называется сервером базы данных.
Достоинством организации ИС по архитектуре клиент-сервер является удачное сочетание централизованного хранения, обслуживания и коллективного доступа к общей корпоративной информации с индивидуальной работой пользователей над персональной информацией. Архитектура клиент-сервер допускает различные варианты реализации.
Исторически первыми появились распределённые ИС с применением файл-сервера. В таких ИС по запросам пользователей файлы базы данных передаются на персональные компьютеры (ПК), где и производится их обработка.
Рис. 7.1. Структура ИС с файл-сервером
Недостатком такого варианта архитектуры является высокая интенсивность передачи обрабатываемых данных. Причём зачастую передаются избыточные данные: вне зависимости от того, сколько записей из базы данных требуется пользователю, файлы базы данных передаются целиком.
Рис.7.2. Структура ИС с сервером баз данных
Структура распределённой ИС, построенной по архитектуре клиент-сервер с использованием сервера баз данных, показана на рисунке 7.2.
При такой архитектуре сервер базы данных обеспечивает выполнение основного объёма обработки данных. Формируемые пользователем или приложением запросы поступают к серверу БД в виде инструкций языка SQL. Сервер базы данных выполняет поиск и извлечение нужных данных, которые затем передаются на компьютер пользователя. Достоинством такого подхода в сравнении с предыдущим является заметно меньший объём передаваемых данных.
Для создания и управления персональными БД и приложений, работающих с ними, используются СУБД, такие как Access и Visual FoxPro фирмы Microsoft, Paradox фирмы Borland.
Корпоративная БД создаётся, поддерживается и функционирует под управлением сервера БД, например, Microsoft SQL Server или Oracle Server.
В зависимости от размеров организации и особенностей решаемых задач ИС может иметь одну из следующих конфигураций:
Компьютер-сервер, содержащий корпоративную и персональные базы;
Компьютер-сервер и персональные компьютеры с ПБД;
Несколько компьютеров-серверов и персональных компьютеров с ПБД.
Использование архитектуры клиент-сервер даёт возможность постепенного наращивания ИС предприятия, во-первых, по мере развития предприятия; во-вторых, по мере развития самой ИС.
Разделение общей БД на корпоративную БД и персональные БД позволяет уменьшить сложность проектирования БД по сравнению с централизованным вариантом, а значит, снизить вероятностьошибок при проектировании и стоимость проектирования.
Важнейшим достоинством применения БД в информационных системах является обеспечение независимости данных от прикладных программ. Это даёт возможность пользователям не заниматься проблемами представления данных на физическом уровне: размещения данных в памяти, методов доступа к ним и т.д.
Такая независимость достигается поддерживаемым СУБД многоуровневым представлением данных в БД на логическом (пользовательском) и физическом уровнях. Благодаря СУБД и наличию логического уровня представления данных обеспечивается отделение концептуальной (понятийной) модели БД от её физического представления в памяти ЭВМ.