59.Засоби моніторингу функціонування кластерів

Ganglia (МФА : gæŋglɪə) - розширювана розподілена система моніторингу кластерів паралельних і розподілених ( англ. grid) обчислень і хмарних систем з ієрархічною структурою. Дозволяє обчислень в реальному часі для кожної із спостережуваних машин .

Проект Ganglia був створений в 1998 в Каліфорнійському університеті в Берклі як продовження проекту Millennium, який був ініційований Національним науковим фондом США .

Призначення та застосування

Система побудована за ієрархічним принципом для інтеграції кластерів. Для моніторингу стану кластерів та їх об'єднання використовується деревоподібна система заснована на P2P з'єднаннях і широкомовних протоколах. Система використовує широко відомі технології: XML для представлення даних, XDR для стиснення даних, RRDtool для зберігання і візуалізації даних. Вона побудована на базі ретельно спроектованих алгоритмів і структур даних, що забезпечує надійність, дозволяє звести до мінімуму накладні витрати на кожному з вузлів і досягти високого ступеня паралелізму. Для відображення сторінок статистики використовується шаблонізатором TemplatePower .

Система була портована на широкий спектр операційних систем і процесорних архітектур, і в даний час використовується на більш ніж 500 кластерів по всьому світу. Існує можливість установки Ganglia на наступні операційні X , Solaris , AIX , IRIX , Tru64 , HPUX і Windows NT/XP/2000/2003/2008.Ganglia використовується для зв'язку кластерів в університетських кампусах по всьому світу і може масштабуватися для обробки кластерів мають до 2000 вузлів в своєму складі .

60.Приклади українських кластерів

Кластер Центру суперкомп’ютерних обчислень НТУУ КПІ має наступну структуру.

Система 1:

1. Вузли:

   1. 44 з двома чотирьох ядерними процесорами Intel Xeon E5440 @ 2.83ГГц та 8 Гб оперативної пам’яті у кожному

   2. 68 з двома двох ядерними процесорами Intel Xeon 5160 @ 3.00ГГц та 4 Гб оперативної пам’яті у кожному

2. Мережа обміну даними: InfiniBand

3. Дисковий простір: 6 Тб на базі розподіленої файлової системи LustreFS

4. Продуктивність: пікова 7 ТФлопс, linpack 5.7 ТФлопс

5. ОС: CentOS release 5.2

6. MPI: openmpi 1.2.8

7. Локальний менеджер ресурсів: Torque 2.3.6

8. Компілятори C++: intel 10.1, gcc 4.1.2

9. Прикладне ПЗ: GROMACS 4.0.2, fftw 3.2, GAMESS

10. Протокол доступу: SSH

Система 2:

1. Вузли: 16 з двома чотирьохядерними процессорами Intel Xeon E5345 @ 2.33 ГГц, 8 Гб оперативної пам’яті та диском ємністю 500 Гб у кожному

2. Мережа обміну даними: InfiniBand

3. ОС: MS Windows Server 2008 HPC Edition

4. MPI: MS MPI 2.0.1551

5. Локальний менеджер ресурсів: HPC Job Manager

6. Протокол доступу: RDP

Материнські плати вузлів підтримують інтерфейс IPMI для віддаленого керування.

Система зберігання данних включає наступні складові:

• 6Тб + 6,5 Тб простору на базі системи зберігання FalconStor

• 20 Тб простору у стрічковому архіві

СКІТ - це суперкомп'ютерний обчислювальний комплекс Інституту кібернетики ім. В. М. Глушкова НАН України.

У 2002 році спільно з компанією "Юстар" був розроблений проект першого суперкомп'ютера СКІТ. Суперкомп'ютер складається з трьох обчислювальних кластерів: СКІТ-1, СКІТ-2, СКІТ-3.

СКІТ - 1

24-вузловий кластер на мікропроцесорах Intel Xeon

Пікова продуктивність кластера 255 Гфлопс (1 Гфлопс = 1 млрд.операцій з плаваючою крапкою в секунду), реальна продуктивність 189 Гфлопс Тип процесора - одноядерний 32- розрядний Intel Xeon (тактова частота - 2,67 ГГЦ, кеш - 512 Кбайт, споживана потужність 60-100 Вт, число процесорів у вузлі кластера - 2) Число ядер- процесорів у вузлі - 2 Оперативна пам'ять вузла - 2 ГБАЙТА Система зберігання даних - обслуговує всі кластери, типу RAID5, глобальна файлова система загальним обсягом 20 Тбайт Загальна споживана потужність - 8 кВа від мережі 380 В Обчислювальні засоби кластера (обчислювальні вузли й керуючий вузол) являють собою масив серверів, зв'язаних між собою двома ЛВС - високошвидкісною мережею Infiniband (пропускна здатність каналу 800 Мбайт/с) і мережею Gigabit Ethernet (пропускна здатність каналу до 1000 Мбит/с). Мережа Infiniband призначена для високошвидкісного обміну між вузлами в ході обчислень. При обміні даними між двома вузлами по мережі Infiniband з використанням протоколів MPI може бути досягнута пропускна здатність 750 Мбайт/с.

СКІТ - 2

32- вузловий кластер на мікропроцесорах Intel Itanium2

Пікова продуктивність кластера 360 Гфлопс, реальна продуктивність 280 Гфлопс Тип процесора - одноядерний 64- розрядний Intel Itanium2 (тактова частота - 1,4 ГГЦ, кеш - 3 Мбайт, споживана потужність 135 Вт, число процесорів у вузлі кластера - 2) Оперативна пам'ять вузла - 2 ГБАЙТА Число ядер- процесорів у вузлі - 2 Система зберігання даних - типу RAID5, глобальна файлова система загальним обсягом 20 Тбайт Загальна споживана потужність - 20 кВа від мережі 380 В Обчислювальні засоби кластера (обчислювальні вузли й керуючий вузол) являють собою масив серверів, зв'язаних між собою двома ЛВС - високошвидкісною мережею SCI (пропускна здатність каналу 350 Мбайт/с) і мережею Gigabit Ethernet (пропускна здатність каналу до 1000 Мбит/с). Мережа SCI призначена для високошвидкісного обміну між вузлами в ході обчислень. При обміні даними між двома вузлами по мережі SCI з використанням протоколів MPI може бути досягнута пропускна здатність 345 Мбайт/с. Мережа Gigabit Ethernet призначена для з'єднання всіх обчислювальних вузлів кластера з керуючим вузлом і файловим сервером.

СКІТ - 3

127-вузловий кластер на багатоядерних процесорах (75 вузлів на двоядерних процесорах Intel Xeon 5160 и 52 вузла на чотрирьохядерних процесорах Xeon 5345)

Пікова продуктивність кластера 7500 Гфлопс, реальна підтверджена продуктивність (на 125 вузлах) 5317 Гфлопс Тип процесорів - двоядерних Intel Xeon 5160 і чотрирьохядерних Intel Xeon 5345 з архітектурою EM64T (тактова частота сооответственно - 3,0 ГГЦ і 2,2 ГГЦ, кеш - 4 Мбайт, споживана потужність 80 Вт, число процесорів у вузлі кластера - 2) Оперативна пам'ять вузла - 2 ГБАЙТА на ядро, відповідно, 8 і 16 ГБАЙТ. Число ядер- процесорів у вузлі відповідно - 4 і 8, всього у кластері 716 ядер. Система зберігання даних - типу RAID5, глобальна файлова система Lustre загальним обсягом (у дзеркалі) 20 Тбайт. Загальна споживана потужність - 60 кВа від мережі 380 В. Обчислювальні засоби кластера (обчислювальні вузли й керуючий вузол) являють собою масив серверів, зв'язаних між собою двома ЛВС - високошвидкісною мережею Infiniband (пропускна здатність каналу до 900 Мбайт/с) і мережею Gigabit Ethernet (пропускна здатність каналу до 1000 Мбит/с). Мережа Infiniband призначена для високошвидкісного обміну між вузлами в ході обчислень. При обміні даними між двома вузлами по мережі Infiniband з використанням протоколів MPI може бути досягнута пропускна здатність 850 Мбайт/с. Мережа Gigabit Ethernet призначена для з'єднання всіх обчислювальних вузлів кластера з керуючим вузлом і файловим сервером.

Кластер Київського нацiонального унiверситету iменi Тараса Шевченка

належить до гетерогенних кластерiв типу BEOWULF. Система складається iз 22 двопроцесорних вузлiв на базi Intel® Pentium-III 933MГц та 1ГГц, Intel® Xeon® 2.0ГГц та 2.4ГГц, Intel® Xeon® EM64T 3.2ГГц. У ролi службової та швидкісної мережі використовується Gigabit Ethernet. На вузлах встановлено операційну систему Linux на основі поставки Fedora Core 1 та 3 з ядрами - 2.4.32 і 2.6.18 Кожен вузол кластера має однакову структуру каталогiв та мiстить, по можливості, однаковий набiр програмного забезпечення, iнстальованого в однi й тi ж каталоги. Основною моделлю програмування є розподілена пам'ять, проте в межах одного вузла підтримується модель спільної пам'яті.

Комутатор

Cisco Catalyst 3750 GT 24 порти

Конфігурація вузла

На базi Intel® Pentium III 933MГц (4 вузли)

• Процесор 2xIntel® Pentium III 933МГц

• Системна плата - Intel® STL2

• Оперативна пам"ять - ECC SDRAM 512Мб

• Жорсткий диск - IBM UltraWide SCSI-2 36Gb

• Мережева плата - Intel® PRO/1000 (Gigabit Ethernet)

На базi Intel® Pentium III 1ГГц (4 вузли)

• Процесор - 2хIntel® Pentium III 1ГГц

• Системна плата - Supermicro SUPER P3TDL3

• Оперативна пам"ять - ECC SDRAM 512Мб

• Жорсткий диск - IBM UltraWide SCSI-2 36Gb

• Мережева плата - Intel PRO/1000 (Gigabit Ethernet)

На базi Intel® Xeon 2.4ГГц (4 вузли)

• Процесор - 2хIntel® Xeon 2.4ГГц

• Системна плата - Supermicro SUPER X5DE8-GG

• Оперативна пам"ять - ECC SDRAM 512Мб

• Жорсткий диск - IBM UltraWide SCSI-2 36Gb

• Мережева плата - 2хIntel PRO/1000 (Gigabit Ethernet)

На базi Intel® Xeon 2ГГц (4 вузли)

• Процесор - 2хIntel® Xeon 2ГГц

• Оперативна пам"ять - ECC SDRAM 1Гб

• Мережева плата - 2хIntel PRO/1000 (Gigabit Ethernet)

Intel® Xeon® EM64T 3.2ГГц (6 вузлів)

• Процесор - 2хIntel® Xeon EM64T 3.2ГГц

• Оперативна пам"ять - ECC SDRAM 2Гб

• Мережева плата - 2хIntel PRO/1000 (Gigabit Ethernet)

 Важливі параметри

Пікова продуктивність процесора

• Intel Pentium III з частотою 1ГГц - 2 GFLOPs

• Intel Xeon з частотою 2.4 ГГц - 4.8 GFLOPs

• Intel EM64T з частотою 3.2ГГц 6.4 GFLOPs

Швидкісні харакетристики мережі

• MTU - 9000 байт

• Максимальна пропускна здатність - 1 Gbit/s

• Початкова затримка - 32 мкс

В цілому по кластеру

• Кількість вузлів - 22

• Кількість фізичних процесорів - 44

• Кількість HT процесорів - 76

• Пікова продуктивність - 105.8 GFLOPs

• Продуктивність за HPL ~27 GFLOPs (застаріла інформація)

• Об'єм оперативної пам'яті - 20 GBytes

• Об'єм дискового простору ~ 1 TBytes

Поточні значення відображаються в розділі статистика