- •Системы управления базами данных
- •2. Динамическое создание гипертекстовых документов на основе содержимого бд.
- •Архитектура субд
- •Функции субд
- •Логическое (даталогическое) проектирование]
- •Нормализация Нормальная форма
- •Параллельные системы баз данных
- •Гомогенные и гетерогенные базы данных
- •2.Когаловский м.Р. Перспективные технологии информационных систем. — м.: дмк Пресс; Компания АйТи, 2003. — 288 с. — isbn 5-279-02276-4.
- •Литература
Логическое (даталогическое) проектирование]
Логическое (даталогическое) проектирование — создание схемы базы данных на основе конкретной модели данных, например, реляционной модели данных. Для реляционной модели данных даталогическая модель — набор схем отношений, обычно с указанием первичных ключей, а также «связей» между отношениями, представляющих собой внешние ключи.
Преобразование концептуальной модели в логическую модель, как правило, осуществляется по формальным правилам. Этот этап может быть в значительной степени автоматизирован.
На этапе логического проектирования учитывается специфика конкретной модели данных, но может не учитываться специфика конкретной СУБД.
Физическое проектирование — создание схемы базы данных для конкретной СУБД. Специфика конкретной СУБД может включать в себя ограничения на именование объектов базы данных, ограничения на поддерживаемые типы данных и т. п. Кроме того, специфика конкретной СУБД при физическом проектировании включает выбор решений, связанных с физической средой хранения данных (выбор методов управления дисковой памятью, разделение БД по файлам и устройствам, методов доступа к данным), создание индексов и т. д.
Нормализация Нормальная форма
При проектировании реляционных баз данных обычно выполняется так называемая нормализация.
Модели «сущность-связь ER-модель данных
Модель «сущность-связь» (англ. “Entity-Relationship model”), или ER-модель, предложенная П. Ченом[1] в 1976 г., является наиболее известным представителем класса семантических (концептуальных, инфологических) моделей предметной области. ER-модель обычно представляется в графической форме, с использованием оригинальной нотации П. Чена, называемой ER-диаграмма, либо с использованием других графических нотаций (Crow’s Foot, Information Engineering и др.).
Основные преимущества ER-моделей:
наглядность;
модели позволяют проектировать базы данных с большим количеством объектов и атрибутов;
ER-модели реализованы во многих системах автоматизированного проектирования баз данных (например, ERWin).
Основные элементы ER-моделей:
объекты (сущности);
атрибуты объектов;
связи между объектами.
Сущность — объект предметной области, имеющий атрибуты.
Связь между сущностями характеризуется:
типом связи (1:1, 1:N, N:М);
классом принадлежности. Класс может быть обязательным и необязательным. Если каждый экземпляр сущности участвует в связи, то класс принадлежности — обязательный, иначе — необязательный.
Семантические модели
Семантическая модель (концептуальная модель, инфологическая модель) — модель предметной области, предназначенная для представления семантики предметной области на самом высоком уровне абстракции. Это означает, что устранена или минимизирована необходимость использовать понятия «низкого уровня», связанные со спецификой физического представления и хранения данных.
Семантическое моделирование стало предметом интенсивных исследований с конца 1970-х годов. Основным побудительным мотивом подобных исследований (то есть проблемой, которую пытались разрешить исследователи) был следующий факт. Дело в том, что системы баз данных обычно обладают весьма ограниченными сведениями о смысле хранящихся в них данных. Чаще всего они позволяют лишь манипулировать данными определенных простых типов и определяют некоторые простейшие ограничения целостности, наложенные на эти данные. Любая более сложная интерпретация возлагается на пользователя. Однако было бы замечательно, если бы системы могли обладать немного более широким объемом сведений и несколько интеллектуальнее отвечать на запросы пользователя, а также поддерживать более сложные (то есть более высокоуровневые) интерфейсы пользователя.[…] Идеи семантического моделирования могут быть полезны как средство проектирования базы данных даже при отсутствии их непосредственной поддержки в СУБД.
Наиболее известным представителем класса семантических моделей является модель «сущность-связь» (ER-модель).
В XX веке доминировала методология управления производством получившая название «Фордизм», по имени своего основоположника Генри Форда. Фордизм — модель массового производства стандартизированных товаров на сборочных конвейерах с использованием низкоквалифицированных работников, занятых простыми операциями и объединенных на крупных фабриках. Такое производство обладает «эффектом масштаба» и отличается низкой себестоимостью единицы продукции, доступной массовому потребителю. Один из основных постулатов фордизма: «Производить большие партии изделий выгоднее, чем мелкие», прочно укоренился в головах управленцев XX века. Сейчас пришло время, когда выпускать большие партии изделий могут только гиганты, а основная масса мелких и средних заводов должна быть гибкой, производя небольшие партии изделий под запросы своих клиентов. Рождение новых методологий
Со второй половины XX века (после второй мировой войны) предпринималось множество попыток модифицировать фордистскую модель. В частности на заводах «Тойота» в 50х годах стали ставить эксперименты, адаптируя американские концепции массового производства к реалиям послевоенной промышленности Японии. Тогда была переделана система крепления прессового инструмента, чтобы сделать его замену более быстрой. Потом были и другие новаторские решения и открытия, со временем сложившиеся в новую методологию — Lean Manufacturing (LM) – Бережливое производство. В 80х и 90х появился целый зоопарк методологий и парадигм по управлению производством, среди которых подробнее остановлюсь на двух: Quick Response Manufacturing (QRM) – Быстрореагирующее производство и Agile Manufacturing (AM) – Активное производство. Современные, более гибкие по сравнению с фордизмом методологии, часто объединяют термином «постфордизм». Важнейшие различия между фордизмом и постфордизмом заключаются в том, что фордизм основан на продукте и больших объёмах производства, новые методологии ориентированы на клиента и возможность выпуска небольших партий за счет гибкой переналадки оборудования. В постфордизме рабочая сила выступает носителем компетенции и источником развития, работает командой, в отличие от фордизма, где люди нанимаются на отдельные места. В фордизме допускается определенный уровень брака, тогда как новые концепции предполагают абсолютное качество. И ради его достижения инновации могут вносить не только специалисты, но и все рабочие производства. Бережливое производство (Lean Manufacturing, LM)
Цель LM – производить продукцию с постоянным уменьшением усилий людей, с меньшим объемом применения аппаратуры, как можно быстрее, на минимальном пространстве и при этом делать то, что ожидает купить клиент. Эта концепция родилась в послевоенной Японии, тогда промышленность страны испытывала нехватку во всем: в ресурсах, материалах, аппаратуре, кадрах, и не могла рассчитывать на помощь государства. Япония мобилизовала свои силы и стала рационально использовать любые ресурсы, одновременно находясь в процессе поиска, выявления и ликвидации потерь любого масштаба. потери времени из-за ожидания;
потери при ненужной транспортировке;
потери из-за лишних этапов обработки;
потери из-за лишних запасов;
потери из-за ненужных перемещений;
потери из-за выпуска дефектной продукции.
Позже к видам потерь были добавлены: нереализованный творческий потенциал сотрудников.
перегрузка рабочих, сотрудников или мощностей при работе с повышенной интенсивностью.
Быстрореагирующее производство (Quick Response Manufacturing, QRM)
Происхождение бережливого производства связано с компанией Тойота, особенность которой – постоянные большие объёмы выпускаемой продукции. Однако за последние несколько лет произошёл быстрый рост количества функции, предлагаемых производителями своим заказчикам, это связанно в частности с: Развитием CAD/CAM (системы автоматизированного проектирования и производства), позволяющим компаниям разрабатывать «под клиента», а потом производить продукцию без несения высоких дополнительных расходов.
Развитием Интернет, который позволяет покупателю/заказчику без труда оценивать огромное количество функций и делать свой выбор.
Данные тенденции развития дают основания полагать, что в XXI веке будет расти спрос на небольшую по объёму и крайне разнообразную продукцию с такими функциями, которые пожелают сами заказчики покупатели. На этой почве и появилась методология QRM, которая была сформирована американским математиком Раджан Сури и подробно описана в его монографии вышедшей в свет в 1998 году. Итак, быстрореагирующее производство (QRM) – используемая компаниями стратегия для сокращения времени выполнения заказа, которая охватывает всё предприятие.
Цель QRM – сократить время выполнения заказа за счет всех операций компании, как внутренних, так и внешних. Почему скорость выполнения заказа является основополагающим понятием QRM отлично иллюстрирует простой пример (см. рисунок). Данные на графике взяты из реальных показателей компании Midwest. Синим цветом показано реальное время выполнение заказа (когда кто-то делает работу), белым – общее время выполнение заказа.
Рисунок
-
Ориентация QRM на снижение всего времени
выполнения заказа.
Обычный заказ лежит 5 дней в отделе приема заказов, прежде чем его отправят на производство, потом уходит 12 дней, находится на изготовление компонентов, 9 дней на сборку и 8 дней на то, чтобы уже выполненный заказ упаковали и отправили заказчику. В итоге на выполнение заказа уходит 34 дня (белый цвет). Если сложить участки серого цвета, то получим 19,5 часов, т.е меньше 3 дней при восьми часовом рабочем дне. Остальное время – это когда данной работой никто не занимается. По словам Сури, данное соотношение не является случайным, во многих производственных проектах реальное время работы составляет менее 5% от времени выполнения заказа. Бережливое производство и другие похожие методологии, основанные на снижении затрат, направлены на сокращение реального времени работы, QRM ориентирован на снижение всего времени выполнения заказа. Снижение всего времени выполнения заказа потенциально дает гораздо больший эффект, поскольку именно простои между реальными работами над заказом занимают большую часть времени. Снижение времени выполнения заказа, как правило, понижает стоимость продукта, повышает его качество и делает всю компанию более конкурентноспособной Общий знаменатель QRM называется критическим путем производства (КПП, Manufacturing Critical-path Time) – календарное время, отсчет которого начинается, когда заказчик делает заказ, проходящий по критическому пути, и заканчивается тогда, когда первое изделие данного заказа поставлено заказчику. Ключевая идея КПП, сравнить количество «серого времени», уходящего на реальные операции, с общим показателем КПП. Фраза «проходящий по критическому пути», означает, что при подсчете КПП вы должны сделать допущение, что все виды деятельности осуществляются с чистого листа, нет никаких предварительно созданных заготовок, присутствуют очереди, ожидания и задержки в операциях.. Основные концепции QRM: бизнес построенный при работе «для склада» (когда, чтобы быстрее выполнить заказы, основная номенклатура продуктов производиться заранее и кладется на склад), из-за ошибок планирования и изменчивости спроса приводит увеличению КПП, и в итоге к тому что компания не может быстро реагировать на потребности клиентов. Если сильно упростить – лучше инвестировать в станки и стандартно быструю реализацию заказов, чем в склады.
переход от функциональных цехов к QRM-ячейкам. Ячейка – это набор независимых (отделенных от остальной компании), сочетаемых друг с другом многофункциональных ресурсов (людей и станков). QRM-ячейка направлена на выполнение всех видов работ вокруг определенного рыночного сегмента (например, конкретный тип продукции). В философии QRM-ячейки можно проследить некоторую аналогию с Scrum командой.
иметь в запасе мощность до 20% для наиболее часто используемого оборудования. Это необходимо для предупреждения «пробок», уменьшает КПП и делает предприятие более готовым в изменчивости спроса.
поиск непроизводительного времени с уровня цеха и до управления предприятием, служб маркетинга и логистики. Как показывает практика, больше всего времени расходуется впустую в офисах, а не на производстве.
ориентация работников всех подразделений на единую цель – снижение временных затрат. Важно то, что учитывается не только время на те или иные процедуры, но и общее время от заказа до его отгрузки клиенту. Единая цель, к которой стремятся рабочие, а отсюда и единые параметры оценки работы для ее достижения, сплачивают команду работников.
Все знают что время – деньги, но на самом деле время – гораздо большие деньги, чем полагают большинство менеджеров! Активное производство (Agile Manufacturing, AM)
Для компаний, работающих по AM, свойственна способность быстро реконфигурировать трудовые и материальные ресурсы, чтобы не упускать возможности заработать и избегать неприятностей. Основным преимуществом концепции AM является умение оперативно подстраиваться под изменяющуюся ситуацию и работать в условиях неопределенности на рынке. AM подходит для отраслей, где высок уровень неопределенности (например ИТ, потребительская электроника). Постоянная готовность к изменениям и ответ на них с помощью сценарных стратегий.
Сценарий
Как можно больше интеллектуальных ресурсов и как можно меньше материальных.
Постоянная стержневая группа кроссфункциональных специалистов. Группа специалистов на проектах на договорной основе, а также вынос непрофильных работ на аутсорс. Штат не раздувается, а люди составляющие ядро компании горят делом.
Далее приведены принципы, на которые ориентируется AM, помогающие компании оставаться на плаву при изменчивости рынка:
Разветвлённая сеть партнерских организации (с дублирующими и дополняющими компетенциями) и поставщиков.
Организация работ: проектно—командная, иерархия минимальная.
Фактор |
Быстрореагир. Производ. (Quick Response Manufacturing, QRM) |
Активное производство (Agile Manufacturing, AM) |
Стратегический ориентир |
Скорость выполнения заказа |
Эффективные действия в условиях высокой неопределенности |
Тип производства |
Средне и мелкосерийное |
Мелкосерийное и индивидуализированное |
Уровень кастомизации продукта и услуг |
Средний — высокий |
Высокий |
Уровень задействования ресурсов |
80% |
> 100% (использования множества сторонних ресурсов) |
Инновационный потенциал |
Средний — высокий |
Высокий |
Таким образом, особое внимание, в компаниях типа AM уделяется минимизации потерь от возможных, неожиданных негативных изменений, таких как потеря контрактов или рынка производимого изделия. Одновременно, многодисциплинарная, быстро расширяемая, команда и разветвленная партнерская сеть создают предпосылки для того, чтобы быстро реагировать на неожиданно открывающиеся возможности. Сравнение методологий Рассмотренные методологии отличаются в первую очередь стратегической ориентацией. QRM нацелено на единственную цель – уменьшение времени цикла производства от получения заявки и до сдачи продукта заказчику. У AM главной целью является совершенствование возможностей для работы в условиях неопределенности и изменчивости рынка и т.д.
Выбор той или иной методологии зависит от объёмов производства, а также от отрасли в которой работает компания. Если производство серийное, то главная задача как правило — это минимизация расходов. Компании, создающие небольшие партии продукта, должны уметь выполнять заказы быстро, поэтому интереснее ориентироваться на QRM. Те, кто работает с индивидуальными заказами — могут выбрать AM. Если говорить об инновациях, то с ними гораздо проще AM компаниям. Ведь главным плюсом AM производства является способность работать во всегда изменяющемся поле, разбираясь с индивидуальными проблемами. QRM занимает среднее положение. Ниже приведена таблица основных отличий QRM, AM
Таблица основных отличий QRM, AM
Автоматизация заводов сейчас востребована, и мы регулярно бываем на разных типах заводов, обсуждая с заказчиками варианты сотрудничества. Если посмотреть на Российские производственные компании через призму вышеописанных методологий, я могу выделить 4 типа заводов: Заводы, работающие по старинке.
Небольшие и средние современные производственные компании.
Маленькие инновационные производственные предприятия.
Заводы с государственным заказом.
Распределенные, параллельные, гетерогенные базы данных. Распределенные базы данных. База данных – интегрированная совокупность данных, с которой работают много пользователей. Изложение всех предыдущих разделов предполагало единую базу данных, размещаемую на одном компьютере. Напомним основные принципы, положенные в основу теории баз данных:
централизованное хранение данных;
централизованное обслуживание данных (ввод, корректировка, чтение, контроль целостности).
Заметим, что базы данных появились в период господства больших ЭВМ. База данных велась на одной ЭВМ, все пользователи работали именно на ЭВМ. Других вариантов использования вычислительной техники в то время просто не существовало. Если проанализировать работу пользователей с данными в компаниях, организациях, предприятиях в "докомпьютерное" время, то нетрудно заметить, что на отдельных участках пользователи работали со "своими" данными (осуществляли сбор определенных данных, их хранение, обработку, передачу обработанных данных на другие участки или уровни управления).
У такой технологии были существенные недостатки, которые уже отмечались в предыдущих разделах:
дублирование некоторых данных,
отсутствие возможности сравнительного анализа данных всех участков. Однако у этой технологии были и существенные достоинства: данные вводились и хранились в местах их порождения; с этими данными работал пользователь, являющийся специалистом именно по этим данным, что позволяло ему вести эффективный контроль правильности данных на всех стадиях обработки;
данные находились непосредственно у пользователя, что давало возможность их оперативной обработки. Централизация данных на одной ЭВМ, несомненно, дающая эффективные возможности хранения и обработки данных, не позволяла реализовывать вышеназванные достоинства.
Развитие вычислительных компьютерных сетей обусловило новые возможности в организации и ведении баз данных, позволяющие каждому пользователю иметь на своем компьютере свои данные и работать с ними и в то же время позволяющие работать всем пользователям со всей совокупностью данных как с единой централизованной базой данных.
Соответствующая совокупность данных называется распределенной базой данных. Однако в разных источниках под этим термином понимаются совершенно разные вещи. Часть авторов понимают под распределенной базой данных то, что имеется удаленный сервер, на котором расположены данные, а также клиентские компьютеры, расположенные территориально в другом месте. Такая трактовка нам представляется неправильной. Настоящая распределенная база данных располагается на нескольких компьютерах. При этом часть файлов расположена на одном компьютере, часть на другом и т.д. Более того, возможна и даже часто встречается ситуация, когда информация на этих компьютерах пересекается, дублируется. Распределенная база данных – совокупность логически взаимосвязанных разделяемых данных (и описаний их структур), физически распределенных в компьютерной сети.
Система управления распределенной базой данных – программная система, обеспечивающая работу с распределенной базой данных и позволяющая пользователю работать как с его локальными данными, так и со всей базой данных в целом.
Система управления распределенной базой данных (РаСУБД) является распределенной системой. Каждый фрагмент базы данных работает под управлением отдельной СУБД, которая осуществляет доступ к данным этого фрагмента.
Пользователи взаимодействуют с распределенной базой данных через локальные и глобальные приложения. Локальные приложения дают пользователю возможность работать со своими локальными данными и не требуют доступа к другим фрагментам. Глобальные приложения дают пользователю возможность работать с другими фрагментами базы данных, расположенными на других компьютерах сети. Общая схема распределенной базы данных представлена на рисунке
Рисунок - Распределенная база данных
Объединение данных организуется виртуально. Соответствующий подход, по сути, отражает организационную структуру предприятия (и даже общества в целом), состоящего из отдельных подразделений. Причем, хотя каждое подразделение обрабатывает свой набор данных (эти наборы, как правило, пересекаются), существует необходимость доступа к этим данным как к единому целому (в частности, для управления всем предприятием).
Одним из примеров реализации такой модели может служить сеть Интернет: данные вводятся и хранятся на разных компьютерах по всему миру, любой пользователь может получить доступ к этим данным, не задумываясь о том, где они физически расположены.
Рисунок - Распределенная база данных
К.Дж. Дейт провозглашает следующий фундаментальный принцип распределенной базы данных [ 2 ]. Для пользователя распределенная система должна выглядеть точно так же, как нераспределенная. Из этого принципа следует ряд правил:
Локальная автономия.
Независимость от центрального узла.
Непрерывное функционирование.
Независимость от расположения.
Независимость от фрагментации.
Независимость от репликации.
Обработка распределенных запросов.
Управление распределенными транзакциями.
Независимость от аппаратного обеспечения.
Независимость от операционной системы.
Независимость от сети.
Независимость от СУБД.
Заметим, что понятие распределенной базы данных можно интерпретировать как следующий шаг в развитии понятий о данных обусловленный распределенностью данных в реальных предметных областях, а также новым этапом развития средств вычислительной техники – широким использованием вычислительных сетей.
В этой интерпретации распределенную базу данных можно понимать как совокупность логически взаимосвязанных распределенных по разным компьютерам баз данных.
Перечислим основные проблемы создания распределенной базы данных.
Фрагментация данных и распределение по компьютерам.
Составление глобального каталога, содержащего информацию о каждом фрагменте БД и его местоположении в сети. (Каталог может храниться на одном узле или быть распределенным)
Организация обработки запросов (синхронизация нескольких запросов к одним и тем же данным, исключение аномалий удаления и обновления одних и тех же данных, расположенных на различных узлах, оптимизация последовательности шагов при обработке запроса и т.д.).
Значительным достоинством этой модели является приближение данных к месту их порождения, что позволяет существенно повысить их достоверность, недостатком – достаточно высокая сложность управления данными как единым целым.
К сожалению, процесс создания и обслуживания распределенных баз данных связан и с техническими трудностями, среди которых можно выделить жесткие требования к пропускной способности каналов связи, а также низкую производительность, обусловленную значительными затратами коммуникационных и вычислительных ресурсов при их синхронизации во время выполнения транзакций (особенно при интенсивных обращениях из разных узлов к одному фрагменту).
Технология, связанная с использованием распределенных баз данных, в наибольшей степени соответствует организационной человеческой деятельности (информация распределена по месту деятельности людей, и они обмениваются ей в процессе работы) и позволяет наиболее успешно решать важнейшие проблемы ведения баз данных:
повысить достоверность информации (информация вводится в месте ее порождения лицом, которое лучше всех понимает ее смысловое значение);
повысить оперативность локальной обработки информации (соответствующие вопросы решаются на локальном компьютере с фрагментом базы данных).
Поэтому очевидно, что задача проектирования, создания и функционирования распределенных баз данных является весьма существенной, активно изучается в настоящее время и будет решаться и далее.
