12.6. Грід-технологія -- інформаційно-обчислювальна інновація XXI століття

Людство стоїть на порозі нової комп'ютерної революції: на зміну інтернету йде супермережа - грід, яка дозволить використовувати обчислювальні надпотужності в режимі віддаленого доступу.

XXI століття стане епохою масового впровадження грід-технологій. В результаті чергової комп'ютерної революції відбу-

432

деться трансформація звичного для нас сьогодні WWW (World Wide Web- інтернету) в WWG (World Wide GRID - у всесвітню грід-мережу). Магічне грід-середовище, здатне віртуалізувати про­цесори, пам'ять і комунікації, обіцяє перетворити всі комп'ютерні ресурси світу в свого роду гігантський мультипроцесор, що володіє практично необмеженими обчислювальними можливостями.

Інформатизація сьогодні виходить на четвертий етап свого розвит­ку. Перший був пов'язаний з появою великих комп'ютерів (мейнф-реймів), другий - з персональними комп'ютерами, третій - з появою інтернету, що об'єднав користувачів в єдиний інформаційний прос­тір. Перше ж десятиріччя XXI століття, на думку багатьох фахівців, знаменується початком переходу на нові грід-технології [1].

Потенціал технологій грід вже зараз оцінюється дуже високо: він має стратегічний характер. В близькій перспективі грід повинен стати обчислювальним інструментарієм для розвитку високих тех­нологій в різних сферах людської діяльності, подібно до того, як ін­струментарієм стали персональний комп'ютер і інтернет. Такі високі оцінки можна пояснити здатністю грід на основі надійного віддаленого доступу до ресурсів глобально розподіленої інфрастру­ктури вирішити такі проблеми:

• створення розподілених обчислювальних систем надвисокої пропускної спроможності (показники продуктивності: агрегована потужність більше 1 терафлоп, об'єм оброблюваних даних більше 1 петабайта(возможно Терабайта?) на рік) при одночасному підвищенні ефек­тивності (до 100%) наявного парку обчислювальної техніки шляхом надання в грід тимчасово простоюючих ресурсів; -

• створення широкомасштабних систем моніторингу, управління, комплексного аналізу і обслуговування з глобально розподіле­ними джерелами даних, здатних підтримувати життєдіяльність державних структур, організацій і корпорацій.

Застосування грід може дати нову якість рішення таких класів завдань:

• масова обробка потоків даних великого об'єму;

• багатопараметричний аналіз даних;

• моделювання на віддалених суперкомп'ютерах;

• реалістична візуалізація великих наборів даних;

• складні бізнес-застосування з великими об'ємами обчислень.

Грід-технології вже активно застосовуються як державними ор­ганізаціями управління, оборони, сфери комунальних послуг, так і

433

приватними компаніями, наприклад, фінансовими і енергетичними. Область застосування грід зараз охоплює ядерну фізику, захист на­вколишнього середовища, прогноз погоди і моделювання клімати­чних змін, чисельне моделювання в машино- і авіабудуванні, біологічне моделювання, фармацевтику та ін. [2].

Авторами концепції грід вважаються Ян Фостер з Арагонськой національної лабораторії університету Чікаго і Карл Кессельман з Інституту інформатики Університету Південної Каліфорнії. Саме Фостер і Кессельман в 1998 р. вперше запропонували термін grid computing для позначення універсальної програмно-апаратної ін­фраструктури, об'єднуючої комп'ютери і суперкомп'ютери в тери­торіально-розподілену інформаційно-обчислювальну систему. За визначенням, «Грід (grid) - узгоджене, відкрите і стандартизоване середовище, яке забезпечує гнучке, безпечне, скоординоване розді­лення ресурсів в межах віртуальної організації».

Термін grid computing був введений по аналогії з терміном power grid (електромережа). Користувачі комп'ютерних потужностей діс­тануть можливість прямого підключення до віддаленої обчислюва­льної мережі (так само як до електроенергії через побутові розетки). Основні ресурсні елементи грід-систем - супер­комп'ютери і суперкомп'ютерні центри, а найважливіша інфра-структурна складова - високошвидкісні мережі передачі даних.

Суперкомп'ютер з розетки Грід-компьютінг почав формуватися перш за все як інтегратор обчислювальних ресурсів для вирішення різних «ресурсоємних» наукових завдань. Ідея ефективнішого ви­користання обчислювальних потужностей шляхом з'єднання безлі­чі комп'ютерів в єдину структуру виникла в науковому співтоваристві порівняно давно - в епоху мейнфреймів. Вже у 80-90 роки учені (перш за все фізики-ядерники) для вирішення склад­них математичних завдань намагалися комбінувати один з одним різні робочі станції і використовувати вільні центральні процесори для скорочення часу обробки.

Суперкомп'ютери, не об'єднані в територіально-розподілену си­стему, володіють такими істотними недоліками. По-перше, це дуже дорога техніка, яка швидко морально застаріває. По-друге, це «ста­тичність» обчислювальних потужностей суперкомп'ютерів, які практично не піддаються серйозній модернізації. Статичність не дозволяє використовувати їх для вирішення завдань нового рівня

складності. І, нарешті, третій недолік - низький ККД супер­комп'ютерів унаслідок нерівномірності завантаження СРU.

В ідеалі від цих недоліків можна позбавитися при об'єднанні су­перкомп'ютерів в грід-мережу. Проте для ефективної експлуатації грід-систсм спочатку необхідно прийти до консенсусу у сфері стан­дартизації (визначення стандартів сервісів, інтерфейсів, баз даних тощо).

Автори ідеї грід-компьготінга Фостер і Кессельман стояли і біля витоків розробки першого стандарту конструювання грід-систем, вільно поширюваного програмного інструменту з відкритим кодом Globus Toolkit

На думку Яна Фостера, «підходи на основі відкритих стандартів (подібні Globus Toolkit) кінець кінцем перетворять грід на паную­чий напрям розвитку корпоративних інформаційних інфраструк­тур». Набагато успішніше просуваються грід-технології в науково-освітній сфері, що значною мірою пояснюється активною фінансо­вою підтримкою різноманітних грід-проектів державними структу­рами.

У 2001 р. в США стартував проект ТeraGrid, що фінансується Національним науковим фондом науки (NSF), основним завданням якого стало створення розподіленої інфраструктури для проведення високопродуктивних (терафлопних) обчислень.

У 1994 р. стартував проект створення всесвітньої комп'ютерної мережі GLORIAD (абревіатура від Global Ring Network for Advanced Application Development - Глобальна кільцева мережа для розвитку прикладних досліджень) - волоконно-оптичного кільця в Північній півкулі, об'єднуючого обчислювальні ресурси різних на­уково-дослідних організацій США, Канади, Європи, Росії, Китаю і Південної Кореї (головним чином фізичних центрів).

У травні 2004 р. Європейським союзом був створений аналог американської ТeraGrid - консорціум DEISA (Distributed European Infrastructure for Supercomputing Applications), який об'єднав в грід-

-мережу провідні національні суперкомп'ютерні центри ЄС.

У 2004 р. завершився трирічний проект European DataGrid (EDG), в рамках якого була побудована тестова інфраструктура обчислень і обміну даними для потреб європейського наукового співтоварист­ва. На основі цих напрацювань був початий новий міжнародний проект організації високопродуктивної грід-мережі Enabling Grids for E-SCIENCE (ЕGЕЕ). В даний час в проект входять 70 наукових

434

28*

4.45

установ з 27 країн світу, об'єднаних в 12 федерацій. В рамках цього проекту повинен бути побудований найбільший в світі грід з сума­рною обчислювальною потужністю 20 000 СРU.

У тісній взаємодії з проектом ЕGЕЕ розвивається і магістра­льна європейська мережа для освіти і науки - GEANT. Нова ме­режа здатна якісно змінити обробку інформації радіоастрономічних комплексів, реєструючі системи яких роз­ташовані на значному віддаленні одна від одної. В США на базі грід-технологій створено Національний цифровий центр мамографії із загальним об'ємом даних (мамограм) 5,6 петабайта, який надає медикам можливість миттєвого доступу до записів мільйо­нів пацієнтів.

Великі можливості надає проект SETI@home, ініційований астро­номами Університету Каліфорнії - Берклі. В рамках проекту була створена віртуальна грід-мережа, яка регулярно аналізує дані, що надходять з радіотелескопу Arecibo в Пуерто-Ріко з метою пошуку позаземного розуму. За допомогою інтернету SЕТІ об'єднав обчис­лювальну потужність понад 5 млн персональних комп'ютерів і вже виконав обчислювальну роботу, еквівалентну більш ніж 600 тис. ро­ків роботи ПК.

Сполучені Штати сьогодні - безумовний світовий лідер у сфері практичного будівництва грід-мереж. У 2004 р. Джордж Буш офіцій­но оголосив про початок роботи президентської стратегічної GRID-програми (Strategic Grid Computing Initiative ), основною метою якої є «створення єдиного національного простору високопродуктивних обчислень» (National High Performance Computing Environment ).

У США вже успішно функціонують чотири національні грід-мережі: комп'ютерна мережа національного фонду наукових дослі­джень (NSF Comp. Grid), інформаційна мережа підтримки НАСА (NАSА Information Power Grid ), глобальна інформаційна мережа міністерства оборони (DODGI Grid ) і мережа суперкомп'ютерної ініціативи міністерства енергетики (DOE ASCI Grid).

Велику увагу грід-технологіям останніми роками приділяє і кері­вництво Євросоюзу, серйозно стурбованого відставанням, що намі­тилося в цій області, від США. У 2005 р. Єврокомісія підготувала спеціальну програму вартістю 13 млрд євро, в рамках якої грід-компьютінгу відводиться роль стимулятора і найважливішого ре­сурсу для перетворення Євросоюзу на «найбільш конкурентоспро­можну в світі економіку знань».

З 2000 р. ведуться роботи по освоєнню грід-технологій і в Китаї. Довгий час інформація про те, на якій стадії знаходиться реалізація проекту ChinaGrid, була фактично засекречена. Інформаційна бом­ба вибухнула в середині липня 2006 р., коли китайські ЗМІ привсе­людно оголосили про завершення роботи над Китайським освітнім грід-проектом (China Educational Grid Project, CEGP ).

СЕGР об'єднав комп'ютерні мережі декількох десятків найбіль­ших університетів країни і надав мільйонам китайських студентів прямий доступ до баз даних, онлайнових учбових курсів і сервісних застосувань по самих різних напрямах і дисциплінах.

У січні 2006 р. в Афінах було офіційно оголошено про початок виконання проекту EUChinaGRID що фінансується Європейською комісією. Головна його мета - об'єднання європейських і китайсь­ких грід-інфраструктур для підвищення ефективності сумісного ви­користання різних наукових застосувань, що працюють в грід-середовищі. Стратегічний альянс ЄС і Китаю, що намітився, цілком можна розглядати як одну з перших спроб створення сильної «грід-иротиваги» претензіям США на світове лідерство в цій великомас­штабній технологічній гонці.

Незабаром до цього альянсу може підключитися й Індія, яка та­кож оголосила про початок реалізації власної Національної грід-компьютінгової ініціативи GARUDА, що передбачає об'єднання в грід-мережу 17 найбільших науково-дослідних центрів країни.

До теперішнього часу національні програми з розвитку грід-технологій в тій або іншій формі реалізуються практично всіма технологічно розвиненими країнами. У Росії такої програми по грід до цих пір немає. У червні 2006 р. уряд Росії схвалив пропозицію Міністерства освіти і науки про розробку проекту нової супер­комп'ютерної програми «СКІФ-ГРІД» Союзної держави Росії і Бі­лорусі.

В Україні в 2006 р. відбулася презентація проекту створення Центру суперкомп'ютерних обчислень. Цей стратегічний проект веде до зміни рейтингу України в системі високих, могутніх ком­п'ютерів. «Ми говоримо про стратегію, яка інтегрує нас у світові наукові центри, і перш за все, в інтелектуальний простір Європи», - сказав Глава держави на презентації проекту [3].

Створення Центру суперкомп'ютерних обчислень підтримане державою і передбачає можливість виконання надскладних обчис­лень вченими, користувачами з різних регіонів України. Для цього

436

437

пропонується використовувати українську телекомунікаційну ме­режуURAN (Ukrainian Research Academic Network), яка створена за підтримки NАТО і має регіональні центри в Харкові, Львові, Доне­цьку, Одесі, Сімферополі, Дніпропетровську. Базовий центр розта­шовується в НТУУ «КІП». Суперкомп'ютер київських політехніків - перший за потужністю в Україні і другий серед 50-ти кращих су­перкомп'ютерів країн СНД. Очікується, що запуск його в роботу сприятиме підвищенню якості, доступності і конкурентоспромож­ності освіти і науки на світовому ринку праці і освітніх послуг, на­дасть нові можливості для наукового пошуку і технологічного розвитку.

Параметри Центру суперкомп'ютерних обчислень за швидкістю обробки інформації, об'ємом пам'яті, можливістю нарощування кластерної структури тощо знаходяться на рівні світових показників.

Усі сучасні концепції і підходи до побудови глобальної грід-системи (грід як обчислювальна послуга – Sun Microsystems грід як система емуляції персонального комп'ютера і його заміни інтернет-комунікатором - АМD; грід як єдина операційна система, що об'єднує обчислювальні потужності в глобальний суперкомп'ютер, - Google; грід як віртуальна організація, що формує однорідний простір ІКТ-взаємодії, - Oracle) вимагають високошвидкісних мереж [13].

Створення виділеної високошвидкісної мережі передачі даних для грід-систем - це ключовий елемент зниження собівартості об­робки біта інформації і головна перевага в конкуренції глобальних проектів.