Розділ 2 Інструментарій реалізації протоколу oai-pmh

1. Програмне забезпечення Data Providers

Провайдер даних підтримує створення та ведення одного чи більше репозиторіїв, здійснює публікацію своїх ресурсів, а також надає можливість доступу до своїх метаданих для їхнього використання в інших системах. Набір платформ програмного забезпечення для побудови таких репозиторіїв постійно змінюється. Програмні компоненти провайдера даних повинні містити декілька модулів [6]:

• модуль розбору запитів;

• модуль роботи з БД – повинен конвертувати дані, що зберігаються в форматах БД у відповідності до необхідних форматів метаданих;

• генератор XML;

• генератор помилок;

• модуль управління тематичними наборами (якщо вони необхідні);

• модуль управління потоком даних за допомогою міток відновлення.

Слід зазначити, що формування невеликих архівів не потребує створення повнофункціонального провайдера даних. Для таких цілей достатньо використовувати статичний репозиторій (Static Repository), який дозволяє формувати XML-документи, які мають постійний URL, і забирати їх за протоколом HTTP без необхідності реалізації сервера, що відповідає за OAI-запити. Статичні репозиторії рекомендовано створювати для колекцій, число записів яких не перевищує 5 тисяч. Повноцінна взаємодія із сервіс-провайдером здійснюється посередником – шлюзом статичного репозиторію (Static Repository Gateway).

Найбільшвідоме та поширене на сьогодні ПЗ провайдерів даних[9]:

• DSpace (http://www.dspace.org);

• Eprints (http://software.eprints.org);

• Greenstone (http://www.greenstone.org);

• CDS Invenio (http://cdsware.cern.ch);

• Fedora (http://fedora-commons.org).

DSpace — пакет вільного/відкритого програмного забезпечення що забезпечує інструменти для керування цифровими активами, і зазвичай використовується як основа для колективних архівів. Для надання можливості інтегрованого пошуку елементів (документів) DSpace підтримує протокол OAI-PMH. DSpace підтримує три види метаданих про контент, що архівується:

• описові метадані - кожен елемент архіву має один запис метаданих у форматі QDC (Qualified Dublin Core), який заснований на наборі елементів і кваліфікаторів профілю бібліотечних додатків, що забезпечується в системі DSpace за замовчуванням. Організації з іншими вимогами можуть його легко змінювати, через реєстр елементів і кваліфікаторів. Інші описові набори метаданих, наприклад, UNIMARC, можуть підтримуватися в звичайних текстових файлах.

• адміністративні метадані - включають метадані збереження (preservation), походження (provenance) і політики авторизації даних.

• структурні метадані - включають інформацію про те, як представляти елемент або файли всередині елементу користувачам і відносини між складниками елементу.

DSpace виставляє метадані у форматі DC для публічно доступних елементів. Додатково, структура розділу і колекції виставлена через механізм наборів протоколу. Для забезпечення такої функціональності використовується структура з відкритим початковим кодом OAICat організації OCLC (Online Computer Library Center). Можна також конфігурувати сервіс OAI скориставшись плагінами переходу (crosswalk plugins) для того, щоб запропонувати додаткові формати метаданих, наприклад MODS. Плагіни переходів передбачені для реалізації функцій експорту та імпорту в системі. Ці програмні модулі здійснюють переклад між метаданими DSpace-об'єктів і певною зовнішньою сутністю. Як правило, це пари плагінів для імпорту і експорту. Наприклад, з формату метаданих MODS у внутрішній формат DSpace і навпаки.

EPrints одна з найбільш поширених систем, яка використовується для формування та управління відкритими архівами і призначена для створення архівів наукових досліджень з великою різноманітністю інформаційних ресурсів. Відкриті архіви, створені в середовищі EPrints, підтримують протокол обміну метаданими ОАІ-PMH, який забезпечує глобальні послуги доступу і пошуку. ОАІ розробляє і просуває стандарти сумісності з метою ефективного розповсюдження електронних ресурсів,а також підвищення доступності обміну науковою інформацією. EPrints підтримує цілий спектр наборів метаданих. Серед них є Dublin Core, який вважається обов'язковим в OAI-PMH. Для загальнодоступних елементів репозиторій EPrints представляє назовні їх метадані у форматі DC. Якщо які-небудь служби OAI запрошують інший формат метаданих, наприклад MODS, система може коректно обробити і цей запит.

Greenstone – вільно поширювана програма для створення і підтримки цифрових онлайн бібліотек. Greenstone розробляється в рамках проекту електронної бібліотеки Нової Зеландії. Програма розповсюджується під ліцензією GNU GPL. Програмне забезпечення Greenstone використовується для створення і поширення в цифровому форматі бібліотечних колекцій. Надає новий спосіб організації і публікації інформації в Інтернеті або на компакт-дисках. Існують дві версії системи – локальна і мережна. У локальній версії формування цифрової бібліотеки і доступ до неї формується в локальній мережі комп'ютерів. У мережній версії усі функціональні можливості по створенню і використанню бібліотек надаються з використанням технології Web/сервер – Web/клієнт.

CDS Invenio — інтегрована система цифрової бібліотеки, яка забезпечує каркас та інструменти для будівництва та управління автономного цифрового сервера бібліотеки. Попередня назва CDSware. Розроблено Європейською організацією ядерних досліджень (CERN). Програмне забезпечення доступне для усіх під Ліцензією GPL. Технологія, запропонована програмним забезпеченням, покриває усі аспекти управління цифровою бібліотекою. Підтримується ініціатива відкритих архівів, протокол OAI-PMH та бібліографічний стандарт MARC 21. Гнучке, потужне та всестороннє рішення для управління цифровими сховищами середніх та великих розмірів.

Система керування електронними репозиторіями Fedora базується на гнучкій розширюваній архітектурі репозиторіїв електронних об’єктів (Flexible Extensible Digital Object and Repository Architecture - Fedora). Система була розроблена таким чином, щоб її можна було використовувати для створення повноцінних та повномасштабних репозиторіїв та електронних бібліотек для навчальних та наукових закладів. Fedora – заснована на сервісах система з відкритим кодом для керування репозиторіями цифрових об’єктів. Вона, скоріше є базовою архітектурою для електронних репозиторіїв, ніж готовим рішенням для електронних бібліотек і на відміну від систем «під ключ» з фіксованим інтерфейсом, таких, як DSpace та EPrints, дозволяє створювати різноманітні системи для різних галузей. Система надає два види доступу: клієнт для внесення, підтримки та експорту електронних об’єктів та веб-сервіси доступу через інтерфейси SOAP або REST (використовує стандартні HTTP методи для запиту та маніпулювання веб-ресурсами). Центральний сервіс репозиторію, на якому заснована архітектура системи, надає чотири основних інтерфейси прикладного програмування (API) – керування, доступ, пошук та OAI сервіс для харверстингу метаданих.

Всі перераховані системи мають набір спільних характеристик, це перш за все відкрите програмне забезпечення, репозиторії підтримують протокол збору метаданих, а також підтримка системами стандартного набору метаданих DC для опису ресурсів.

Також існує ще таке ПЗ [3]:

Arc source – Arc випущений під ліцензією NCSA Open. Є федеративним пошуковим механізмом на основі OAI-PMH, що включає в себе харвестер, пошуковець з простим інтерфейсом пошуку та OAI-PMH складальник зібраних метаданих.

Archimede – відкрите ПЗ для інституційних репозиторіїв. Особливості: повнотекстовий пошук, мультиплатформенна підтримки, користувацький веб-інтерфейс.

DP9 – OAI шлюз для пошукових роботів (кроулерів).

MARCXML framework – набір інструментів, стилів, принципів та XML-документів, що підтримують формат записів MARC21 в XML середовищі.

my.OAI – повнофункціональна пошукова система для вибраного списку БД метаданих з проекту OAІ.

MyCoRe – відкрите програмне забезпечення, яке надає функціональні можливості для інституційних репозиторіїв та архівів.

Net::OAI::Harvester – надає об'єктно-орієнтований клієнтський інтерфейс для пошуку даних в репозиторіях за протоколом даних.

OAIA – заснована на PERL та MySQL, OAIA це простий механізм для забезпечення кешування і агрегування даних OAI.

OAI Java Implementation for Linux – проста, ілюстративна реалізація протоколу метаданих OAI, що використовує Java.

OAIbiblio PHP Data Provider – програмне забезпечення постачальника даних OAI-PMH, версія 2.0. Написане на PHP, може бути легко налаштоване для взаємодії з вже існуючими, мультитабличними базами даних.

OAICat – проект Open Source Software (OSS), являє собою веб-додаток Java Servlet, що забезпечує таку структуру сховища, яка відповідає OAI-PMH. Структура може бути налаштована для роботи з довільними сховищами даних, шляхом впровадження деяких Java-інтерфейсів.

oai-perl library – бібліотека класів мови PERL, яка дозволяє швидке налаштування OAI сумісного інтерфейсу з існуючими веб-сервером/базою даних.

OAI-PMH Pack – пакет OAI-PMH послуг.

Perl Harvester – об'єктно-орієнтований клас харвестерів, що підтримують OAI-PMH версії 1.0, 1.1, 2.0 та включають зразки коду для демонстрації використання.

PHP OAI Data Provider – програмне забезпечення, що повністю відповідає OAI-PMH, включає підтримку швидкого стиснення виведених даних, які значно зменшують обсяг даних, що передаються.

Rapid Visual OAI Tool – (RVOT) використовується для графічної побудови сховища з колекції файлів на основі OAI-PMH. Записи в оригінальній колекції можуть знаходитися в одному з допустимих форматів. Підтримувані формати: RFC1807, Марк підмножини та формати COSATI. RVOT допомагає визначити відображення візуально від рідного формату oai_dc формат, і як тільки це буде зроблено інструмент може реагувати на OAI-PMH запити. Інструмент складається з HTTP-сервера та OAI-PMH оброблювача запитів, написаний на Java. Дизайн RVOT такий, що він може бути легко розширений для підтримки інших форматів метаданих.

Static Repository Gateway – програмне забезпечення для статичного шлюзу сховища.

utf8conditioner – невелика програма, яка перевіряє або «виправляє» UTF-8 бітстрім.

VTOAI OAI-PMH Perl Implementation – цей інструментарій реалізує схему OAI-PMH в об'єктно-орієнтованому стилі, приховуючи, таким чином, деталі протоколу через код, який є похідним від визначених класів.

XMLFile v2.2 – це модуль провайдера даних OAI-PMH, що працює над набором XML файлів, які містять метадані.

ZMARCO – OAI-PMH сумісний провайдер даних.

ZOpenArchives – вбудований набір інструментів «ZOpenArchives», щоб використовує OAI-PMH v2.0 в Zope середовищі. Може використовувати і бази даних eXist як сховища. Він забезпечує такі компоненти:

• Zope OAI Server, який містить ZCatalog Harvesters;

• Open Archives Aggregator, який містить OAI Harvesters;

• OAI Harvester, який робить збір із зовнішніх серверів OAI;

• ZCatalog Harvester, який забезпечує ZCatalog записами, такими як OAI записи;

• eXist OAI Aggregator, що містить eXist OAI Harvesters;

• eXist OAI Harvester, який робить збір зі зовнішніх OAI серверів всередині БД сховища eXist;

• eXist OAI Repository, що забезпечує eXist ресурси записами OAI.