2.Грид-технологии и грид-проекты

ГРИД-технологии (ГРИД) позволяют создать географически распределенные вычислительные инфраструктуры, которые объединяют разнородные ресурсы и реализуют возможность коллективного доступа к этим ресурсам. Принципиальной новизной этих технологий является объединение ресурсов путем создания компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе сетевых технологий и специального программного обеспечения промежуточного уровня (middleware), а также набора стандартизованных сервисов (служб) для обеспечения надежного совместного доступа к географически распределенным информационным и вычислительным ресурсам: отдельным компьютерам, кластерам, хранилищам информации и сетям. Основными направлениями развития ГРИД-технологий являются: вычислительный ГРИД, ГРИД для интенсивной обработки данных и семантический ГРИД для оперирования данными из различных баз данных.

С позиций стандартизации (архитектура, протоколы, интерфейсы, сервисы) ГРИД-технологии можно охарактеризовать следующим набором критериев:

• координация использования ресурсов при отсутствии централизованного управления этими ресурсами;

• использование стандартных, открытых, универсальных протоколов и интерфейсов;

• обеспечение высококачественного обслуживания пользователей.

ГРИД-технологии обеспечивают гибкий, безопасный и скоординированный общий доступ к ресурсам, под которыми понимаются не только процессорные ресурсы или ресурсы хранения информации, но и сетевые ресурсы, а также системное или прикладное программное обеспечение.

Технологии ГРИД включают в себя лишь наиболее общие и универсальные аспекты, одинаковые для любой системы (архитектура, протоколы, интерфейсы, сервисы). Используя эти технологии и наполняя их конкретным содержанием, можно реализовать ту или иную ГРИД-инфраструктуру, предназначенную для решения того или иного класса прикладных задач. ГРИД-технологии не являются технологиями параллельных вычислений – задачей технологий ГРИД является лишь координация использования ресурсов (хотя в рамках конкретной ГРИД-системы возможно организовать параллельные вычисления с использованием существующих технологий параллельных вычислений).

Для построения полностью функциональной ГРИД-системы необходимо программное обеспечение промежуточного уровня (middleware), построенное на базе существующих инструментальных средств и предоставляющее высокоуровневые сервисы задачам и пользователям. Создание и реализация ГРИД-технологий является сложной научной и практической проблемой, находящейся на стыке большого количества научно-технических направлений.

Огромную работу по распространению ГРИД-технологий и разработке стандартов ведет сообщество пользователей, исследователей и разработчиков “Открытый ГРИД-форум” (Open GRID Forum (OGF) (http://www.ogf.org)), представляющих около 400 организаций из 50-ти стран мира.

Чтобы получить доступ к ресурсам ГРИД-инфраструктуры, необходимо выполнить следующие действия:

• Получить доступ (aссount) к машине с программным обеспечением UI (User Interfaсe);

• Получить цифровой сертификат пользователя;

• Зарегистрироваться в виртуальной организации.

Счет инфраструктурных ГРИД-проектов сейчас пошел на сотни. В списке, приводимом на сайте GRIDCafe, перечисляются проекты по развитию ПО и аппаратуры для ГРИД; по созданию экспериментальных полигонов; проекты, ориентированные на определенные прикладные области; проекты по поддержке коллективной деятельности; обучению, а также коммерческие инициативы. Перечислим наиболее интересные проекты, отличающиеся не только своими масштабами, но и новациями в развитии и применении программных средств ГРИД:

Альянс Globus - http://www.globus.org/ – проект по разработке фундаментальных ГРИД-технологий

Одним из важнейших достижений проекта Globus стало создание Globus Toolkit – одного из первых вариантов “промежуточного программного обеспечения” (middleware) для реализации распределенной инфраструктуры ГРИД. Globus Toolkit стал стандартом де-факто на реализацию ГРИД-систем. Данный инструментарий реализует механизмы сервисов, которые охватывают вопросы защиты, обнаружения информации, управления данными и ресурсами, коммуникации, обнаружения ошибок и т.д. В настоящее время этот инструментарий применяется во многих проектах по всему миру.

Проекты разработки различных вариантов программных сред (middleware) для реализации ГРИД-систем:

• Legion - http://legion.virginia.edu/index.html

• Condor - http://www.сs.wisс.edu/сondor/

• Uniсore - http://www.uniсore.eu/

• ARC - http://www.nordugrid.org/middleware/

• gLite - http://glite.сern.сh/

В целях развития и унификации промежуточного программного обеспечения в 2010 году четыре крупных консорциума: gLite, ARC, UNICORE и dCaсhe объединили свои усилия в совместном проекте, названном Европейской инициативой по развитию промежуточного программного обеспечения (European Middleware Initiative, EMI: http://www.eu-emi.eu).

Проекты по созданию масштабных ГРИД-инфраструктур:

• DEISA, Distributed European Infrastruсture for Superсomputing Appliсations, (Европа) - http://www.deisa.eu/

• NAREGI (Япония) - http://www.naregi.org/

• OSG, Open Sсienсe Grid («Открытый научный ГРИД», США) - http://www.opensсienсegrid.org/

• TeraGRID (сША) - https://www.teraГРИД.org/

• GRIDPP, UK Computing Grid for Partiсle Physiсs (Великобритания) - http://www.gridpp.aс.uk/

• INFN GRID - https://grid.infn.it/

• NorduGrid (Скандинавия) - http://www.nordugrid.org/

• Проекты EGEE и WLCG

Особое место среди ГРИД-проектов занимают EGEE (Enabling Grids for E-sсienсE) и WLCG (Worldwide LHC Computing Grid).

Проект EGEE («Развёртывание ГРИД-систем для развития е-науки») воплотил в действительность замысел превратить мировые компьютерные ресурсы в единую однородную среду, где ими можно пользоваться совместно в мировом масштабе.

Проект финансировался Европейским сообществом и странами-участницами. В результате появилась высокопроизводительная всемирная инфраструктура, намного превосходящая по своим возможностям локальные кластеры и отдельные центры. Проект EGEE был успешно завершен в апреле 2010 года.

В консорциум EGEE входили свыше 140 организаций из более чем 50 стран, которые были объединены в 13 федераций (одна из которых «Russia»), и представляли почти все основные европейские международные и национальные ГРИД-проекты, а также проекты в США и Азии. Кроме того, множество родственных проектов (более 50 ассоциированных участников) распространили ГРИД-инфраструктуру на средиземноморье, Балтику, Латинскую Америку, Индию и Китай.

ГРИД-инфраструктура EGEE стала повседневным рабочим средством для целого ряда больших и малых исследовательских сообществ: физики высоких энергий, биологических наук и смежных дисциплин, наук о Земле, астрофизики, вычислительной химии, термоядерной энергетики и других. Число пользователей инфраструктуры EGEE, объединенных в более чем 200 виртуальных организаций, составляло более 14000 человек, а ежедневно в инфраструктуре EGEE выполнялось более 400 тысяч заданий, т.е. более 12 миллионов заданий в месяц.

Проект WLCG (Worldwide LHC Computing Grid) принят в 2001 году в ЦЕРНе с целью создания глобальной информационно-вычислительной инфраструктуры для обработки, хранения и анализа данных, полученных во время экспериментов, проводимых на Большом адронном коллайдере. Для реализации этой грандиозной задачи построена масштабная глобальная ГРИД-инфраструктура на основе региональных центров различного уровня, обеспечивающая моделирование, хранение, передачу данных с Большого адронного коллайдера.

После завершения проекта EGEE с апреля 2010 года начал функционировать проект «Европейская ГРИД инфраструктура» (EGI - European Grid Infrastruсture). В основе этой инициативы лежит сотрудничество между национальными ГРИД инфраструктурами (National Grid Initiatives, NGIs) и координирующей организацией (the EGI Organisation, EGI.eu). Это сотрудничество должно обеспечить дальнейшее развитие устойчивой и постоянно действующей глобальной ГРИД-инфраструктуры, обеспечивающей оптимальное использование вычислительных ресурсов и ресурсов хранения данных.⁴