Лекція 1 Базові складові Grid і ресурси

 

1.1 Напрями розвитку технології Grid

 

До теперішнього часу вже реалізовані і реалізуються безліч проектів по створенню Grid-систем. Більша частина цих проектів має експериментальний характер. Виходячи з результатів аналізу проектів можна зробити висновок про три напрями розвитку технології Grid:

     обчислювальний Grid;

     Grid для інтенсивної обробки даних;

     семантичний Grid для операцій з даними з різних баз даних.

Метою першого напряму є досягнення максимальної швидкості обчислень за рахунок глобального розподілу цих обчислень між комп'ютерами. Проект DEISA (www.desia.org) може служити прикладом цього напряму, в якому робиться спроба об'єднання суперкомп'ютерних центрів.

Метою другого напряму є обробка величезних об'ємів даних відносно нескладними програмами за принципом «одне завдання – один процесор». Доставка даних для обробки і пересилка результатів в цьому випадку є достатньо складним завданням. Для цього напряму інфраструктура Grid є об'єднанням кластерів. Один з проектів, метою якого і є створення виробничої Grid-системи для обробки наукових даних, є проект EGEE (Enabling Grids for E-SCIENCE), який виконується під егідою Європейського Союзу (www.eu-egee.org). Учасниками цього проекту є більше 90 наукових і освітніх установ зі всього світу, включаючи Україну.

Побудова інфраструктури Grid в рамках проекту EGEE орієнтована, в першу чергу, на застосування в різних галузях наукової діяльності, у тому числі і для обробки даних у фізиці високих енергій учасниками експериментів, що проводяться на базі створеного в Європейському центрі ядерних досліджень (CERN, www.cern.ch) прискорювача LHC.

Проект EGEE тісно зв'язаний на даній фазі розвитку з проектом LCG (LHC Computing Grid), який, по суті, і є його технологічною базою.

Не дивлячись на достатньо тісну взаємодію багатьох проектів, конкретні реалізації Grid-систем відрізняються одна від одної, хоча в наш час з достатньою визначеністю почала спостерігатися тенденція стандартизації більшості компонентів, що означає найважливіший етап формування технології Grid (архітектура, протоколи, сервіси та ін.). З найзагальніших позицій ця технологія характеризується простим набором критеріїв:

     координація використання ресурсів за відсутності централізованого управління цими ресурсами;

     використання стандартних, відкритих, універсальних протоколів і інтерфейсів;

     забезпечення високоякісного обслуговування користувачів.

1.2 Концепція побудови grid

 

Прогрес в області розробки нових обчислювальних пристроїв і мережевих технологій вражає. Тільки за останніх 15 років тактова частота персональних машин зросла з 10 Мгц до 5ГГц (500 разів), а пропускна спроможність мереж з 10 Мбіт/с до 100 Гбіт/с (10000 разів).

Але не за горами деякі принципові обмеження, наприклад, постійна часу поляризації діелектрика рівна 10 – 13сек, що встановлює верхню межу на тактову частоту будь – яких операцій на рівні ~1013 Гц. (Тгц).

Важко собі уявити, що людство змириться з обмеженнями обчислювальних можливостей. Одним з шляхів вирішення проблеми – паралельне виконання великого числа операцій і розподілена структура обчислювальної системи. Такі технології вже використовуються, наприклад, при побудові Ethernet – интерфейса для швидкості 10 Гбіт/сек (Fast Ethernet).

Зв'язок між продуктивністю обчислювача і потрібною пропускною спроможністю каналів обміну встановлює емпіричний закон Amdahl, який стверджує, що кожному мільйону операцій в секунду процесора повинна відповідати пропускна спроможність вводу/виводу, рівна мегабіту в секунду.

У якійсь мірі техніка WWDM (Wide Wavelength Division Multiplexing) може бути віднесена до методики розпаралелювання операцій.

Технологія GRID повністю укладається в ці рамки. Вона дозволила істотно понизити вартість виконання обчислювальних операцій.

GRID дозволяє виявити і використовувати вільні обчислювальні ресурси. Ця система для передачі програм і даних використовує стандартні канали і протоколи (Ethernet, SDH, АТМ, TCP/IP, MPLS і так далі). Переваги GRID особливо значущі для завдань, де допускається розпаралелювання розрахунків. Поки не склалося точне визначення того, що слід вважати за GRID. До цього класу відносять і системи із спеціалізованими шинами або мережевими сегментами (область супер – ЕОМ) і системи об'єднані через Інтернет (слабо зв'язані GRID). Технологія GRID, вирішуючи свої проблеми, сама стає рушійною силою при розробці нових мережевих технологій (напр. GRIDFTP і ін.).

Широке впровадження в телекомунікації оптоволокна відкриває додаткові можливості, у тому числі і для систем GRID. Оскільки для отримання необхідної смуги пропускної спроможності достатньо 2нм у вікні прозорості волокна, відкриваються можливості мультиплексування десятків потоків в межах одного волокна.

При сучасних швидкостях обміну (більше 1 Гбіт/с) транспортний протокол ТСР (L4) почав обмежувати ефективність обміну. Проблеми виникають при великій смузі пропускання B і RTT.

Останніми роками у зв'язку з мультимедіа розроблені методи і протоколи гарантії якості обслуговування QOS. Це, перш за все, RSVP – TE (IntServ) і MPLS – TE (DiffServ). Для динамічного формування пріоритетних потоків привабливіший MPLS – TE (розділення потоків по DSCP) особливо у разі єдиного сервіс – провайдера. Але при з'єднаннях точка – точка це не істотно.

Техніка гарантії QOS дозволяє розділити інформаційні потоки по пріоритетах, а це у свою чергу дозволяє оптимізувати обчислювальний процес в розподіленому середовищі. Однією з проблем в цьому випадку виявляється відсутність сумісної техніки гарантії QOS в LAN і WAN.

Для забезпечення QOS може використовуватися протокол IEEE 802.17 (RPR – Resilient Packet Ring).

Поява протоколу (GMPLS) відкриває додаткові можливості в сфері передачі програм і даних. Оскільки протокол GMPLS практично працює на рівні L1, значення RTT виявляється мінімізованим.

За своєю природою GMPLS в деяких випадках має проблеми з підтримкою динамічної маршрутизації, та і час реконфігурації із-за механічного перенастроювання дзеркал достатньо великий.

Тут з'єднання відбувається по схемі Е2Е і з цієї причини не виникає необхідності в буферизації (звідси слідує мінімізація RTT).

Первинна роль архітектури GRID полягає у використанні незадіяних ресурсів.

SOA (Service Oriented Architecture – архітектура, орієнтована на сервіс) – хоча GRID може працювати без архітектури, орієнтованої на сервіс, бізнес і керівники IT служб, повинні зрозуміти, що побудова SOA, украй необхідна і бажана. Веб – сервіси на основі SOA дозволяють виключити міжпрограмні і інформаційні обміни – що сприяє раціоналізації операцій, збільшенню продуктивності, більшої гнучкості і низької вартості обчислень.

Business Process Flow (управління бізнес – процесами) – як тільки з'являється архітектура, орієнтована на сервіс, підприємство може починати вести бізнес-процеси прозорим способом, використовуючи існуючі інформаційні системи.

GRID є технологією забезпечення гнучкого, безпечного і скоординованого загального доступу до ресурсів. При цьому слово «ресурс» розуміється в дуже широкому сенсі, тобто ресурсом може бути апаратура (жорсткі диски, процесори), а також системне і прикладне ПО (бібліотеки, додатки).

У термінології GRID сукупність людей і організацій, що вирішують спільно те або інше загальне завдання і що надають один одному свої ресурси, називається віртуальною організацією. Наприклад, віртуальною організацією може бути сукупність всіх людей, що беруть участь в якій-небудь науковій колаборації. Віртуальні організації можуть розрізнятися за складом, масштабом, часом існування, родом діяльності, цілями, відносинами між учасниками (довірені/не довірені особи) і так далі. Склад віртуальних організацій може динамічно мінятися.