Р исунок 2 - Архитектура современной организации доступа к бд
Развитие средств хранения
Данные стремительно стареют. По окончании жизненного цикла данные следует архивировать, а затем поддерживать в архивном формате. Данные могут быть востребованы через многие десятки лет, о чем свидетельствует действующая система бумажных архивов. Вероятность их повторного использования чрезвычайно низка, в определенных критических ситуациях они могут быть востребованы. Не важно, будут ли данные когда-либо использованы, важно, чтобы они были сохранены. Вечное хранение данных соответствующим образом меняет управление жизненным циклом данных, очевидно, они должны по мере старения мигрировать с устройств, обеспечивающих быстрый доступ, на устройства, обеспечивающие низкую удельную стоимость хранения (рис.3), но не могут быть потеряны или уничтожены.
Рисунок 3 – Вероятность повторного использования данных с зависимости от времени хранения данных [9]
Для хранения данных используются следующие носители: бумага, кинопленка, перфокарты, перфоленты, магнитные (видео, аудио, цифровые) и оптические (CD-ROM, DVD). Для физического хранения применяют шкафы, стеллажи, жесткие дисковые системы - винчестеры, флоппи диски, накопители типа Zip, флэш – память, сетевые системы файл-сервер, сервер БД, grid системы.
Перспективные технологии хранения данных, автоматические хранилища лент, устройства хранения прямого доступа, виртуальные ленточные библиотеки, программные средства управления ресурсами хранения, виртуализация памяти, сети хранения на базе IP, твердотельные диски, гибридные жесткие диски, диски на голографических носителях
Компания TDK достигла нового рекорда в плотности записи информации на носитель формата Blu-Ray — теперь компактные диски способны вмещать 200 Гбайт информации.
Магнитные ленты остаются самыми экономичным в плане энергопотребления решением хранения данных, не требующим питания и охлаждения. НМЛ отличаются невысокой стоимостью за терабайт данных и способны выдерживать экстремальные условия. НМЛ HP StorageWorks LTO4 Ultrium1840 для крупных и средних предприятий предлагает максимальный объем, высокую производительность и наибольшую защиту резервных копий, потребляя меньше ватт на гигабайт. Встроенные аппаратные технологии гарантируют защиту данных при утере картриджа. Программное обеспечение НP Data Protector Express Single Server Edition поддерживает аппаратную защиту данных.
Программное обеспечение, разработанное компанией NEC и японским институтом науки и технологий Нара (NAIST, Nara Institute of Science and Technology), позволяет с помощью мобильников с цифровыми камерами (камерофонов) сканировать текст газет и журналов «на ходу», просто проводя им над страницей, а затем распознать весь документ целиком. Программа автоматически отделяет картинки от текста и распознает последний, сохраняя цифровой текст и все содержащиеся в документе изображения.
Хранилища данных. В хранилище данных накапливаются данные из одной или более БД. Существует множество потенциальных применений, а также подходов к организации хранилищ данных. Так, крупный магазин может поддерживать хранилище данных о кассовых операциях для целей добычи данных. Хранилища создаются также для защиты от потерь. Некоторые задачи, касающиеся хранилищ данных, совпадают с теми, которые характерны для интеграции данных в целом, но есть и некоторые специфические проблемы, касающиеся разработки:
инструментов для создания насосов данных, т.е. модулей, функционирующих над средой источников данных и поставляющих в хранилище те изменения, которые существенны с точки зрения хранилища; при этом данные должны транслироваться в соответствии с глобальной моделью и схемой хранилища.
методов "чистки данных", которые обеспечивают согласование данных, удаление элементов, соответствующих разным представлениям одного и того же объекта, а также удаление неправдоподобных значений.
средств для создания и поддержания словарей, информирование пользователей о способах получения данных.
Репозитарии. Класс приложений, называемых репозитариями, можно охарактеризовать как класс систем для хранения и обработки данных и метаданных, т. е. информации о структуре данных. Примеры репозитариев - БД для поддержки компьютерного проектирования, включая CASE (системы проектирования программного обеспечения), а также системы управления документами. Отличительная черта этих систем - изменения метаданных, характерные для любой среды проектирования. В репозитарии необходимо поддерживать множество представлений одной и той же или схожей информации. Например, программный модуль имеет представление в виде исходного кода, объектного кода, промежуточного кода, готовой программы, таблиц использований/определений, документации. Связи между всеми этими представлениями должны отслеживаться репозитарием так, чтобы изменения в одном из них автоматически распространялись на остальные представления того же объекта. Репозитарий должен поддерживать понятие версий (состояний объекта в разные моменты времени) и конфигураций (согласованных коллекций версий). Так, различные релизы программной системы будут формироваться как конфигурации из определенных версий файлов исходного кода. Репозитарий должен поддерживать эволюцию структуры информации и ее метаданных таким образом, чтобы при добавлении новых свойств данных или новых связей не требовалась полная перекомпиляция.
Устройства массовой памяти: В течение 50 лет развития компьютерной техники использовались следующие носители: перфокарты, киноленты, перфоленты, магнитные ленты, дискеты, магнитные картриджи, СD-ROM (увеличение ёмкости носителя до 1,2 Гб против 640 Мб и повышение скорости записи в12 раз), CD-RW, DVD диски, съемные винчестеры, серверы БД. В настоящее время наблюдается устойчивая тенденция роста ёмкости винчестеров, а также снижение удельной стоимости хранения единицы информации. Плотность записи постоянно увеличивается и на настоящий момент составляет более 1 Тб/дюйм2. Цена хранения одного Мб информации продолжает снижаться и в настоящее время составляет менее 0,1 доллара.
Флэш-память – переносное устройство от 32 Гбайт.
Компания Audavi предлагает систему хранения HardTape, в качестве носителей в которой используются 2,5-дюймовые жесткие диски, заключенные в специальные картриджи размером 30x80x17 мм. Картриджи с жесткими дисками выдерживают падение на твердую поверхность с высоты 60 см. Картриджи предлагаются в модификациях емкостью 20, 30, 40, 60 и 80 Гбайт; они устанавливаются в шасси HardTape Bay, которое можно подключить к компьютеру по интерфейсам FireWire, USB или PCMCIA. Система хранения предлагается в качестве альтернативы ленточным накопителям для резервирования информации на случай бедствия, а также для хранения медицинских данных и записей с камер видеонаблюдения [6].
В настоящее время ленты формата 3580 могут хранить до 400 Гбайт несжатой информации. Исследователи полагают, что с помощью так называемых «наношаблонов», предложенных инженерами подразделения микропроцессоров, им удастся создать картриджи, в которых можно будет хранить до 100 терабайт данных.
В компании Iomega разработан накопитель на магнитных дисках величиной с большую монету (около 5 см2), емкость 1,5 Гбайт. Система Digital Capture Technology (DCT) находится в стадии прототипа. Накопитель предназначен для применения в портативных мультимедиа-устройствах.