khor32
.pdf6.8. Сверхвысокопроизводительные вычислительные системы IBMBIue Gene
разработку модульно-наращиваемой многопроцессорной системы c программируемой архитектурой. Эта система компонyется из функционально и конструктивно законченных элементов вычислителей. Каждый такой вычислитель состоит из двух базовых модулей (см. рис. 6.13) и имеет следую-
щие характеристики:
•количество микропроцессоров 32;
•число элементарных процессоров 512;
•емкость памяти 1 Гбайт;
•производительность 50 GFLOPS;
•потребляемая мощность 0,44 кВт;
•габариты — 482,6Х595Х265,9 ммз
Макропроцессор ВС реализован на одной ПЛИС серии Virtex II-Pro фирмы Xilinx.
Любая конфигурация ВС работает под управлением хост-компьютера.
Архитекгура многопроцессорной ВС и тexнология ресypсонезaвисимого параллельного программирования позволяют вьшолнп3 ь параллельную про-
грамму на любом количестве базовых модулей. Создана интегрированная среда программирования, обеспечивающая возможность оперативного создания компонентов адаптирующихся (масштабируемьх) параллельны программ.
6.8. Сверхвысокопроизводительные вычислительные системы
семейства IBM Blue Gene
Проект создания вычислительной масштабируемой суперсистемы
В1ие Gene был анонсирован корпорацией ЭВМ в декабре 1999 г. Проект на-
правлен на создание суперВС c производительностью 1 PetaFLOPS и преду-
сматpивает поэтапное конфигypирование ряда моделей c производительно-
стью в диапазоне 10... iO3 TeraFLOPS.
Первая поставка простой конфигурации системы модели IВМ В1ие Gene/L была осуществлена в 2000 г. в Ливерморскую национальную лабо-
раторию им. Лоуренса (LLNL Lawrence Livermore National Laboratory).
Неоднократное наращивание первоначальной конфигурации ВС превратило ее уже в 2004 г. в самый мощный суперкомпьютер в мире. B 24-й редакции списка 500 наиболее мощных компьютеров мира (Тор500) было указано, что конфигурация ЭВМ В1ие Gene/L из 32 768 процессорных ядер (16 384
двухъядерных процессоров IBM PowerPC 440 c тактовой частотой 700 МГц) обладала п новой производительностью 91,75 TeraFLOPS (70,72 TeraFLOPS на тестовом наборе LINPACK).
Конфигурация IBM В1ие Gene/L, эксплуатировавшаяся в 2006-2007 гг. в LLNL (см. 28-ю и 29-ю рещжщш списка Тор500, 2006-2007 гг.; http://www.top500.org),
273
6. Мультипроцессорные вычислител,,ные системы
характеризовалась следующими показателями: L Висло процессорных ядер
131 072 (двухъядерных процессоров PowerPC 440 |
65536), пиковая про- |
||
изводительность |
367 TeraFLOPS (280,6 TeraFLOPS |
на наборе тестов |
|
UNPACK). |
|
|
|
Наращивание ресурсов IBM В1ие Gene/I,, произведенное к ноябрю
2007 г. в Ливерморской лаборатории, позволило преодолеть рубеж 0,5 Peta-
FLOPS (см. 30-ю редакцию Тор500). Конфигурация модели IBM В1ие Gene/L
2008 г. обладает следующими показателями: ЧИСЛО процессорных ядер
212 992, пиковая производительность |
596,38 TFLOPS (478,2 TFLOPS |
||
на UNPACK), емкость памяти |
53,248 Тбайга, пропускная способность |
||
канала «процессор-память» |
5,5 Гбайт/c, э Нергопотребление |
около |
|
3,25 Мегаватт, занимаемая площадь |
4060 кi:адратных футов (377,2 м2), |
||
цена 208 млн долл. |
|
|
|
B списке Тор 10 десяти самых высоко производительных суперВС мира модели семейства ЭВМ В1ие Gene занимают четыре позиции (2008 г.).
B ближайших планах корпорации IBM предуслiготрено построение моделей. В1ие Gene/P и В1ие Gene/Q c пиковой производительностью 1 PFLOPS и 3 PFLOPS соответственно. Реализованная конфигурация модели IBM В1ие
Gene/P, состоящая из б5 536 процессорньх ядер (из 32 768 двухъядерных микропроцессоров Power РС 450 c тактовой частотой 850 МГц), обладает пико-
вой производительностью 222,8 TFLOPS (167,3 TFLOPS на LINPACK).
Эта конфигурация является второй в 30-й редак:дии Тор500 (2007 г.) и самой мощной суперВС Европы. Она установлена F Научно-исследовательском
консорциуме FZJ (Forschungszentrum Juelich) в Германии.
6.8.1. Особенности архитектуры IBM В1ие Gene
Для интенсификации работ по проекту Е1ие Gene разработчики IBM
вынуждены были пересмотреть свою архитектурную платформу. B результате ими была декларирована «новая» (для IВМ, но не для российских раз-
работчиков, см. гл. 3, [5, 6]) архитектурная i<онцепция SMASH (Simple, Many, Self-Healing простая, множественная и самовосстанавливаемая).
Эта концепция ориентирована на использова Сие таких архитектурных и функциональных решений, которые позволяют интегрировать большое число процессоров (до 1 млн, для достижения петафлопсной производительности) и, следовательно, обеспечивают автомате :ческое устранение проблем, вызванных сбоями.
При разработке данной суперВС принцип масштабирования воплощался на всех уровнях и аппаратурного, и программного обеспечения.
Все модели семейства IBM В1ие Gene относятся к классу распреде-
ленных систем c массовым параллелизмом. Не; мотря на то, что они ориен-
274
б.8. Сверхвысокопроизводительные вычислительные системы IBMBIue Gene
тированы на решение суперсложных задач, заложенные в них решения по-
зволяют характеризовать их архитектуру как MIMD.
Функциональная структура суперВС рассчитана на использование хост-компьютерной системы множества хост-компьютеров. Эти компью-
теры реализуют файловую систему и выполняют следующие функции: ана-
лиз функционирования, контроль, диагностику и восстановление суперВС, a также компиляцию и сервисное обслуживание. Выбор хост-компьютеров для ММ В1ие Gene определяется областью применения (требуемыми произ-
водительностью и полосой пропускания, в частности).
Важной особенностью архитектуры IBM В1ие Gene является воз-
можность одновременной работы множества пользователей. Это достигается путем выделения каждому пользователю требуемых ресурсов подсистемы из необходимого количества вычислительных узлов. Следовательно, в данной суперВС реализована возможность рaзбиения <спространства» вычислительных узлов на подпростpанства и достyпа к ним пользователей. Выделение подсистем в суперВС выполняется хост-
компьютерной системой.
При разработке функциональной структуры суперВС и основных ее
элементов значительное внимание уделялось обеспечению надежности
(RAS |
Reliability, Availability, serviceability |
надежности, готовности, |
обслyживаемости). При этом свою роль сыграли принципы простоты, однородности и модyльности, a также введение избыточности, средств контроля, диагностики и восстановления.
Фактически разработчики суперВС ЭВМ В1ие Gene реализовали плат-
форму ВС c программируемой структурой (см. разд. 3.4.2), они достаточно
полно воплотили и архитектурные принципы, и принципы технической реализации модели коллектива вычислителей (см. разд. 3.1.1, 3.2.1).
6.8.2. Функциональные узлы iBM Blue Gene
для формирования конфигураций cynepBC IBM Blue Gene используют вычислительные узлы, узлы ввода-вывода инфopмaции и cepвиcныe узлы.
Вычислительный узел IBM Blue Gene. Изначально планировалось, что вычислительный узел (Compute Node) будет реализован в виде одной
микросхемы, содержащей 32 rиraфлoпcныx процессора c DRAM-пaмятью (DRAM —Dynamic Random Access Memory — динамическая память c пpo-
извoльнoй выбopкoй). Такие чипы должны были использоваться для фopмиpoвaния модели IBM Blue Gene/C (C —Cyclops – циклоп).
Ha практике при формировании BC нашли применение не cвepxплoт-
но упакованные 32-пpoцeccopныe чипы, a дв}лcъядepныe 64 -разрядные мин-
275
б. Мультипроцессорные вычислителt ные системы
ропроцессоры IBM PowerPC 440. Именно эти л микропроцессоры использованы в вычислительных узлах конфигурациУ модели IBM В1ие Gene/L (L возможно от Livermore).
Главная особенность микропроцессора IBM PowerPC 440 заключается
в том, что он создан на основе технологии «система-на-кристалле» (system- on-Chip), позволившей объединить в единой п роблемно-ориентированной
интегрaльной схеме (ASIC Application-Specif .с Integrated Circuit) вычис-
лительное и коммуникационное ядра, три уров:-^я КЭШ-памяти, пять сетевых интерфейсов и контроллер для подключения внешней памяти. Микропроцессор производится по 0,13микронной технологии.
Тактовая частота IBM PowerPC 440 составляет всего лишь 700 МГц,
но каждое ядро микропроцессора способно выполнять за такт четыре операции c плавающей запятой. Следовательно, сум парная пиковая производительность вычислительного узла IBM В1ие Gene/L оценивается значением
5,6 GFLOPS. B штатном режиме одно из ядер PowerPC используется для
вычислений, a второе реализует функции межузловых обменов. При отсутствии обменов оба ядра могут работать как вычислительные, обеспечивая производительность (2,8X2) GFLOPS.
Вычислительный узел IBM В1ие Gene это композиция микропроцессора IBM PowerPC и чипов памяти DDR DRAM (DDR ДоиЫе Data
Rate удвоенная скорость обмена данными). Емкость памяти вычисли-
тельного узла суперВС достигает 2 Гбайт (плюс 4 Мбайта DRAM в микро-
процессоре), a полоса канала между микропроцессором и памятью
5,5 Гбайт/с (в IBM В1ие Gene/L емкость памяти узла 512 Мбайт).
Каждый вычислительный узел оснащается небольшой операционной системой (ядром ОС), что позволяет выполнять основные функции по вводу
и обработке данных.
Узел ввода-вывода IBM В1ие Gene. ЧЕ ;рез узлы ввода-вывода (Input/Output Nodes) осуществляется связь суперВC ; c глобальной параллельной
файловой системой и c хост-компьютерами. У7 лы ввода-вывода (как и вы-
числительные) основаны на двухъядерных инте:,ральных схемах (ASICs), но они имеют расширенную внешнюю память и ги габитный сетевой интерфейс
Ethernet.
Каждый узел ввода-вывода помимо ядра ОС содержит программный компонент, осуществляющий взимодеиствие c : сост-компьютером.
Сервисный узел IBM В1ие Gene . Для обс.спечения доступа к суперВС
в целях осуществления функций управления ) 4 мониторинга применяется
специальный сервисный узел (Service Node ог Front-end Node ). Этот узел
является внешним по отношению к собственно суперВС, и в качестве такового используется серийно производимая ЭВМ. Сервисный узел является частью хост-компьютерной системы.
276
6.8. Сверхвы сокопроизводительные вычислительные системы IBMBIue Gene
Конфигурация модели IBM В1ие Gene/L, эксплуатировавшаяся в 2006-2007 гг. в LLNL, в своем составе имела 65 536 и 12 вычислительных и
сервисных узлов соответственно и 1024 узла ввода-вывода.
6.8.3. Коммуникационные сети IВм В1ие Gene/L
B системе ММ В1ие Gene используют пять коммуникационных сетей:
управляющую, трехмерную тороидальную и древовидную сети, сети син-
хронизации и ввода-вывода. Сети тороидальная, древовидная и синхронизации характеризуются высокой пропускной способностью и низкой латентностью, они обеспечивают связность вычислительных узлов суперВС при реализации межузловых обменов данными.
Управляющая сеть ЭВМ В1ие Gene/L. Сеть Gigabit Ethernet–JTAG служит для реализации широкого спектра функций управления и монито-
ринга, среди которых: инициализация системы и загрузка вычислительных узлов, текущий контроль за состоянием, диагностика и устранение неисправностей в суперВС.
Управляющая сеть IВМ В1ие Gene/L является интpасeтью (Intranet), основанной на стандартах Ethernet и JTAG (JTAG Joint Test Automation Group объединенная группа по автоматизации тестирования). Она обеспе-
чиваeт связь сервисного узла со всеми оконечньпи1и точками вычислительных
ресурсов IBM В1ие Gene/L (рис. 6.15). B 64К-узловой конфигурации модели
ЭВМ В1ие Gene/L имеется более 250 000 оконечпьх точек интегральных схем (ASICs), древовидных схем генераторов
тактовой частоты, температурньх сенсоров, |
Ethernet |
источников электропитания, вентиляторoв, |
Ethernet |
светоизлучающих диодов для индикации состояний и т. п. Именно через эти точки сервисныи узел осуществляет инициализацию, управление и контроль суперВС.
Адаптация информационных пакетов 100-мегабитной Ethernet к различным управляющим цепям (оконечным точкам) осуществляется специальным ЕРСА-чипом
(FPGA Field ProgrammaЫe Gate Аггау) |
Рис. 6.15. Фрагменты сетей дре- |
||||||
программируемой вентильной матрицей. B |
вовидной, управляющей и вво- |
||||||
частности, этот чип адаптирует Ethernet к |
да-вывода IBM Blue Gene/L: |
||||||
интерфейсу JTAG вычислительных узлов и |
• |
— вычислительный узел; |
|||||
узлов ввода-вывода. Интерфейс JTAG |
|||||||
|
|
||||||
обеспечивает начальную загрузку узлов и |
узел ввода-вывода; U — сервис- |
||||||
ный ел; |
— линк д евовидной |
||||||
Y |
Y |
^ |
|
||||
контроле, сeти; |
— линк управляющей |
||||||
доступ к |
каждому из них |
при |
|
|
|
|
|
диагностике и устранении неисправностей. |
сети |
|
|