Информатика в техническом университете / Информатика в техническом университете. Архитектура вычислительных систем

6.7. Мультипроцессорные системы со структурно-процедурной организацией

жет быть запрограммирована адекватно структуре решаемых задач. для возможности настройки архитектуры суперВС оснащается соответствующими средствами. B состав суперВС включаются аппаратные и программные подсистемы, которые гарантируют пользователю возможность про-

гpаммировать и настраивать его архитектуру таким образом, чтобы можно

было получить любые виртуальные проблемно-ориентированные конфигурации, архитектура которых адекватна соответствующим структурам решаемых задач.

B состав многопроцессорной ВС (см. рис. 6.9) входят аппаратно -про- граммные подсистемы управления макрооперациями, макрокоммутациями и макpообращениями. Кроме того, необходимы еще три подсистемы, а имен-

но: подсистемы программирования и настро., ки поля макpокоммyтаторов и

й

распределенной памяти. B число этих подсистем входят: аппаратнопрогpаммная подсистема организации в поле макpопроцессоров вычислительного графа решаемой задачи или его подгpафов (кадров); аппаратнопрогpаммнaя подсистема программирования и настройки в коммутационной структуре в соответствии c кадром прямых каналов связи между макропроцессорами; аппаратно-программная подсистема управления организацией структуры распределенной памяти; и, наконец, аппаратно-программная подсистема управления организацией интерфейса. Все эти подсистемы, в свою очередь, находятся под управлением распределенного системного прогpаммного обеспечения.

6.7.6.Принципы синтеза суперВС c массовым параллелизмом

ипрограммируемой архитектурой

Исходя из вышесказанного, в основу синтеза ВС c массовым параллелизмом и программируемой архитектурой должен быть положен ряд фун-

даментальных принципов, обеспечивающих выполнение всех современных требований.

Принцип адекватности структуры задачи и архитектуры вычислительной системы. Этот принцип требует максимально адекватного отображения внутренней структуры любой решаемой задачи или любого моделируемого объекта в архитектуру многопроцессорной ВС c массовым параллелизмом.

Принцип использования внутренней параллельности решаемой задачи.

Принцип обеспечивает максимально широкое использование внутренней

естественной параллельности решаемой задачи или моделируемого объекта при организации параллельных вычислений в ВС c массовым параллелизмом.

Принцип обмена информацией без посредников . Согласно этому принципy, обеспечивается преимущественно прямая передача информации от

271

6. Мультипроцессорные вычислите гzьные системы

процессора к процессору по прямым каналаг связи без промежуточных процессоров, памяти или других элементов мнс гопроцессорнои системы.

Принцип кaлиброванного времени выполнения макроопераций. Этот принцип призван поддержать выполнение р ^азнотипных макроопераций (крупных операций), реализуемых в разных параллельно работающих процессорах ВС, в одинаковые промежутки врем мни и тем самым обеспечить согласованность работы всех процессоров.

Принцип бесконфликтного пар ann ельнс го доступа к информации.

Принцип обеспечивает условия для параллельн юго, бесконфликтного доступа без очередей всех одновременно работаю щих процессоров системы к необходимой информации, как хранящейся в f ^аспределенной памяти, так и к вырабатываемой другими процессорами.

Принцип структурно-процедурного кадрового процесса вычислений.

Данный принцип обеспечивает организацию п роцесса вычислений в многопроцессорной ВС на основе информационного графа задачи в кадровой структурно-процедурной форме. При этом формирование кадров осуществляeтся путем такого разрезания графа задачи на непересекающиеся подгpафы, когда каждый подграф заполняет весь процесс орный ресурс ВС и в каждом

кадре осуществляются парaллельно-конвейер- ые структурные вычисления, a обработка всех кадров информационного графа задачи ведется в виде последовательной процедуры c обменом информацией между кадрами.

Принцип модульности архитектуры. 'этот принцип предписывает синтез архитектуры ВС c массовым параллел: 4змом на основе однотипных стандартных модулей, каждый из которых, в с вою очередь, является много-

процессорной системой в минимальной конфигурации. Объединение моду-

., лей осуществляется стандартными однотипно тми коннекторными соедине-

ниями. При объединении ресурсы всех модулЕ й (включая процессорные поля, коммутационные структуры, распределенi ую память, интерфейс и ОС) порождается многомодульная ВС c массовым параллелизмом и программируемои архитектурой.

Принцип масштабируемости струкп урно-процедурных кадровых программ. Принцип обеспечивает эффектив :мое выполнение структурнопроцедурных программ c максимальным исп ользованием имеющихся вычислительных ресурсов при любых модульных конфигурациях многопроцессорных ВС c массовым параллелизмом и про ,раммируемой архитектурой.

6.7.7. Реализация многопроцессорных ю ычислительных систем со структурно-процедурной организацией вычислении

Научно-исследовательский институт многопроцессорных вычислительных систем Южного федерального yниF.epcитeтa в 2007 r. завершил

272

6.8. Сверхвысокопроизводительные вычислительные системы IBMBIue Gene

разработку модульно-наращиваемой многопроцессорной системы c программируемой архитектурой. Эта система компонyется из функционально и конструктивно законченных элементов вычислителей. Каждый такой вычислитель состоит из двух базовых модулей (см. рис. 6.13) и имеет следую-

щие характеристики:

•количество микропроцессоров 32;

•число элементарных процессоров 512;

•емкость памяти 1 Гбайт;

•производительность 50 GFLOPS;

•потребляемая мощность 0,44 кВт;

•габариты — 482,6Х595Х265,9 ммз

Макропроцессор ВС реализован на одной ПЛИС серии Virtex II-Pro фирмы Xilinx.

Любая конфигурация ВС работает под управлением хост-компьютера.

Архитекгура многопроцессорной ВС и тexнология ресypсонезaвисимого параллельного программирования позволяют вьшолнп3 ь параллельную про-

грамму на любом количестве базовых модулей. Создана интегрированная среда программирования, обеспечивающая возможность оперативного создания компонентов адаптирующихся (масштабируемьх) параллельны программ.

6.8. Сверхвысокопроизводительные вычислительные системы

семейства IBM Blue Gene

Проект создания вычислительной масштабируемой суперсистемы

В1ие Gene был анонсирован корпорацией ЭВМ в декабре 1999 г. Проект на-

правлен на создание суперВС c производительностью 1 PetaFLOPS и преду-

сматpивает поэтапное конфигypирование ряда моделей c производительно-

стью в диапазоне 10... iO3 TeraFLOPS.

Первая поставка простой конфигурации системы модели IВМ В1ие Gene/L была осуществлена в 2000 г. в Ливерморскую национальную лабо-

раторию им. Лоуренса (LLNL Lawrence Livermore National Laboratory).

Неоднократное наращивание первоначальной конфигурации ВС превратило ее уже в 2004 г. в самый мощный суперкомпьютер в мире. B 24-й редакции списка 500 наиболее мощных компьютеров мира (Тор500) было указано, что конфигурация ЭВМ В1ие Gene/L из 32 768 процессорных ядер (16 384

двухъядерных процессоров IBM PowerPC 440 c тактовой частотой 700 МГц) обладала п новой производительностью 91,75 TeraFLOPS (70,72 TeraFLOPS на тестовом наборе LINPACK).

Конфигурация IBM В1ие Gene/L, эксплуатировавшаяся в 2006-2007 гг. в LLNL (см. 28-ю и 29-ю рещжщш списка Тор500, 2006-2007 гг.; http://www.top500.org),

273

6. Мультипроцессорные вычислител,,ные системы

характеризовалась следующими показателями: L Висло процессорных ядер

Наращивание ресурсов IBM В1ие Gene/I,, произведенное к ноябрю

2007 г. в Ливерморской лаборатории, позволило преодолеть рубеж 0,5 Peta-

FLOPS (см. 30-ю редакцию Тор500). Конфигурация модели IBM В1ие Gene/L

2008 г. обладает следующими показателями: ЧИСЛО процессорных ядер

B списке Тор 10 десяти самых высоко производительных суперВС мира модели семейства ЭВМ В1ие Gene занимают четыре позиции (2008 г.).

B ближайших планах корпорации IBM предуслiготрено построение моделей. В1ие Gene/P и В1ие Gene/Q c пиковой производительностью 1 PFLOPS и 3 PFLOPS соответственно. Реализованная конфигурация модели IBM В1ие

Gene/P, состоящая из б5 536 процессорньх ядер (из 32 768 двухъядерных микропроцессоров Power РС 450 c тактовой частотой 850 МГц), обладает пико-

вой производительностью 222,8 TFLOPS (167,3 TFLOPS на LINPACK).

Эта конфигурация является второй в 30-й редак:дии Тор500 (2007 г.) и самой мощной суперВС Европы. Она установлена F Научно-исследовательском

консорциуме FZJ (Forschungszentrum Juelich) в Германии.

6.8.1. Особенности архитектуры IBM В1ие Gene

Для интенсификации работ по проекту Е1ие Gene разработчики IBM

вынуждены были пересмотреть свою архитектурную платформу. B результате ими была декларирована «новая» (для IВМ, но не для российских раз-

работчиков, см. гл. 3, [5, 6]) архитектурная i<онцепция SMASH (Simple, Many, Self-Healing простая, множественная и самовосстанавливаемая).

Эта концепция ориентирована на использова Сие таких архитектурных и функциональных решений, которые позволяют интегрировать большое число процессоров (до 1 млн, для достижения петафлопсной производительности) и, следовательно, обеспечивают автомате :ческое устранение проблем, вызванных сбоями.

При разработке данной суперВС принцип масштабирования воплощался на всех уровнях и аппаратурного, и программного обеспечения.

Все модели семейства IBM В1ие Gene относятся к классу распреде-

ленных систем c массовым параллелизмом. Не; мотря на то, что они ориен-

274

б.8. Сверхвысокопроизводительные вычислительные системы IBMBIue Gene

тированы на решение суперсложных задач, заложенные в них решения по-

зволяют характеризовать их архитектуру как MIMD.

Функциональная структура суперВС рассчитана на использование хост-компьютерной системы множества хост-компьютеров. Эти компью-

теры реализуют файловую систему и выполняют следующие функции: ана-

лиз функционирования, контроль, диагностику и восстановление суперВС, a также компиляцию и сервисное обслуживание. Выбор хост-компьютеров для ММ В1ие Gene определяется областью применения (требуемыми произ-

водительностью и полосой пропускания, в частности).

Важной особенностью архитектуры IBM В1ие Gene является воз-

можность одновременной работы множества пользователей. Это достигается путем выделения каждому пользователю требуемых ресурсов подсистемы из необходимого количества вычислительных узлов. Следовательно, в данной суперВС реализована возможность рaзбиения <спространства» вычислительных узлов на подпростpанства и достyпа к ним пользователей. Выделение подсистем в суперВС выполняется хост-

компьютерной системой.

При разработке функциональной структуры суперВС и основных ее

элементов значительное внимание уделялось обеспечению надежности

обслyживаемости). При этом свою роль сыграли принципы простоты, однородности и модyльности, a также введение избыточности, средств контроля, диагностики и восстановления.

Фактически разработчики суперВС ЭВМ В1ие Gene реализовали плат-

форму ВС c программируемой структурой (см. разд. 3.4.2), они достаточно

полно воплотили и архитектурные принципы, и принципы технической реализации модели коллектива вычислителей (см. разд. 3.1.1, 3.2.1).

6.8.2. Функциональные узлы iBM Blue Gene

для формирования конфигураций cynepBC IBM Blue Gene используют вычислительные узлы, узлы ввода-вывода инфopмaции и cepвиcныe узлы.

Вычислительный узел IBM Blue Gene. Изначально планировалось, что вычислительный узел (Compute Node) будет реализован в виде одной

микросхемы, содержащей 32 rиraфлoпcныx процессора c DRAM-пaмятью (DRAM —Dynamic Random Access Memory — динамическая память c пpo-

извoльнoй выбopкoй). Такие чипы должны были использоваться для фopмиpoвaния модели IBM Blue Gene/C (C —Cyclops – циклоп).

Ha практике при формировании BC нашли применение не cвepxплoт-

но упакованные 32-пpoцeccopныe чипы, a дв}лcъядepныe 64 -разрядные мин-

275

б. Мультипроцессорные вычислителt ные системы

ропроцессоры IBM PowerPC 440. Именно эти л микропроцессоры использованы в вычислительных узлах конфигурациУ модели IBM В1ие Gene/L (L возможно от Livermore).

Главная особенность микропроцессора IBM PowerPC 440 заключается

в том, что он создан на основе технологии «система-на-кристалле» (system- on-Chip), позволившей объединить в единой п роблемно-ориентированной

интегрaльной схеме (ASIC Application-Specif .с Integrated Circuit) вычис-

лительное и коммуникационное ядра, три уров:-^я КЭШ-памяти, пять сетевых интерфейсов и контроллер для подключения внешней памяти. Микропроцессор производится по 0,13микронной технологии.

Тактовая частота IBM PowerPC 440 составляет всего лишь 700 МГц,

но каждое ядро микропроцессора способно выполнять за такт четыре операции c плавающей запятой. Следовательно, сум парная пиковая производительность вычислительного узла IBM В1ие Gene/L оценивается значением

5,6 GFLOPS. B штатном режиме одно из ядер PowerPC используется для

вычислений, a второе реализует функции межузловых обменов. При отсутствии обменов оба ядра могут работать как вычислительные, обеспечивая производительность (2,8X2) GFLOPS.

Вычислительный узел IBM В1ие Gene это композиция микропроцессора IBM PowerPC и чипов памяти DDR DRAM (DDR ДоиЫе Data

Rate удвоенная скорость обмена данными). Емкость памяти вычисли-

тельного узла суперВС достигает 2 Гбайт (плюс 4 Мбайта DRAM в микро-

процессоре), a полоса канала между микропроцессором и памятью

5,5 Гбайт/с (в IBM В1ие Gene/L емкость памяти узла 512 Мбайт).

Каждый вычислительный узел оснащается небольшой операционной системой (ядром ОС), что позволяет выполнять основные функции по вводу

и обработке данных.

Узел ввода-вывода IBM В1ие Gene. ЧЕ ;рез узлы ввода-вывода (Input/Output Nodes) осуществляется связь суперВC ; c глобальной параллельной

файловой системой и c хост-компьютерами. У7 лы ввода-вывода (как и вы-

числительные) основаны на двухъядерных инте:,ральных схемах (ASICs), но они имеют расширенную внешнюю память и ги габитный сетевой интерфейс

Ethernet.

Каждый узел ввода-вывода помимо ядра ОС содержит программный компонент, осуществляющий взимодеиствие c : сост-компьютером.

Сервисный узел IBM В1ие Gene . Для обс.спечения доступа к суперВС

в целях осуществления функций управления ) 4 мониторинга применяется

специальный сервисный узел (Service Node ог Front-end Node ). Этот узел

является внешним по отношению к собственно суперВС, и в качестве такового используется серийно производимая ЭВМ. Сервисный узел является частью хост-компьютерной системы.

276

6.8. Сверхвы сокопроизводительные вычислительные системы IBMBIue Gene

Конфигурация модели IBM В1ие Gene/L, эксплуатировавшаяся в 2006-2007 гг. в LLNL, в своем составе имела 65 536 и 12 вычислительных и

сервисных узлов соответственно и 1024 узла ввода-вывода.

6.8.3. Коммуникационные сети IВм В1ие Gene/L

B системе ММ В1ие Gene используют пять коммуникационных сетей:

управляющую, трехмерную тороидальную и древовидную сети, сети син-

хронизации и ввода-вывода. Сети тороидальная, древовидная и синхронизации характеризуются высокой пропускной способностью и низкой латентностью, они обеспечивают связность вычислительных узлов суперВС при реализации межузловых обменов данными.

Управляющая сеть ЭВМ В1ие Gene/L. Сеть Gigabit Ethernet–JTAG служит для реализации широкого спектра функций управления и монито-

ринга, среди которых: инициализация системы и загрузка вычислительных узлов, текущий контроль за состоянием, диагностика и устранение неисправностей в суперВС.

Управляющая сеть IВМ В1ие Gene/L является интpасeтью (Intranet), основанной на стандартах Ethernet и JTAG (JTAG Joint Test Automation Group объединенная группа по автоматизации тестирования). Она обеспе-

чиваeт связь сервисного узла со всеми оконечньпи1и точками вычислительных

ресурсов IBM В1ие Gene/L (рис. 6.15). B 64К-узловой конфигурации модели

ЭВМ В1ие Gene/L имеется более 250 000 оконечпьх точек интегральных схем (ASICs), древовидных схем генераторов

светоизлучающих диодов для индикации состояний и т. п. Именно через эти точки сервисныи узел осуществляет инициализацию, управление и контроль суперВС.

Адаптация информационных пакетов 100-мегабитной Ethernet к различным управляющим цепям (оконечным точкам) осуществляется специальным ЕРСА-чипом

277

6. Мультипроцессорные вычислител>,ные системы

Интерфейс JTAG предоставляет доступ хост-ког шьютерной системе к регистpам каждого процессорного ядра суперВС.

Управляющий ЕРСА-чип в любой конфиг. рации суперВС размещается на каждой плате конструктивном объединении из 32-x вычислитель-

ных узлов и 4-x узлов ввода-вывода.

Средства управляющей сети IBM В1ие Gene/L позволяют предельно

просто осуществлять взаимодействия между хос т-компьютерной системой и

ресурсами суперВС.

Трехмерная тороидальная сеть IBM В1ие Gene/L. Для организации

этой сети служат шесть специальных двусторонних связей (линков) каждого вычислительного узла суперВС. B сети обеспечивается трехмерная связность вычислительных узлов, причем структура данной суперВС представляется ЗД-тором (см. рис. 4.7): N(х, y, z), где N число вычислительных узлов; x, у, г число узлов, составляющих кс льца по трем направлениям X, У, Z. Тор 8 (2х2х2).

Трехмерная тороидальная сеть (Three-dimensional Torus Network) IBM

В1ие Gene обеспечивает пересылки информации от одного вычислительного

узла к другому соседнему (передачи сообщений типа point-to-point). Через

эту сеть любой из вычислительных узлов может взаимодействовать c любым другим узлом суперВС. Взаимодействие узла c удаленными узлами осуществляется через множество транзитных уз, нов.

B модели IBM В1ие Gene/L из 64 K узлов реализован 3D-тор вида:

б5 536 (32Х32Х64). Скорость передачи информaции от узла к ближайшему соседнему узлу по каждому из трех направлении в данной модели составляет 175 Мбайт/с. Каждый узел поддерживает шесть независимых двунаправленных связей c ближайшими соседними уздами. Следовательно, суммарная пропускная способность узла достигает 2,1 Гб айт/c. Латентность узла при транзитном прохождении информации через него равна 10 нс. Для 64 К-уз-

ловой модели IBM В1ие Gene/L максимальное число пересылок (Hops) дан-

ных через транзитные узлы равно 32 + 16 + 1( = 64, значит, в наихудшем случае сетевая латентность составит 6,4 мкс.

Древовидная сеть IBM В1ие Gene/L. для формирования этой сети используются три специальных связи (линка) каждого из вычислительных

узлов. Сеть обеспечивает двустороннюю связь вычислительного узла или c одним, или c двумя, или c тремя соседними узлами (см. рис. 6.15). Древо-

видная сеть (Global Tree Network ог Global Collective Network) поддерживает

глобальные коллективные взаимодействия выL:ислительных узлов в пределах всей суперВС.

K глобальным взаимодействиям, реализуемым множеством вычислительных узлов сyперВС c использованием древовидной сети, относятся

трансляционный обмен данными (Broadcast широковещательная рассыл-

ка) и арифметические и логические операции.

278

6.8. Сверхвысокопроизводительные вычислительные системы IBMBIue Gene

При трансляционном обмене данные передаются из (любого) вычислительного узла всем остальным узлам или узлам некоторого подмножества (см. рис. 3.6, 6). древовидная сеть при таких передачах обеспечивает латентность менее 5 мкс. Межузловая связь (линк) в этой сети характеризуется пропускной способностью 350 Мбайт/c (4 бита за один процессорный такт) и при передаче, и при приеме данных.

Трансляционный обмен в суперВС может быть реализован и через тороидальную сеть. Однако она для этих целей используется реже, чем древовидная сеть. Это объясняется тем, что осуществление трансляционного обмена через тороидальную сеть связано со значительными затратами времени на синхронизацию. Кроме того, древовидная сеть имеет меньшую латентность, чем тороидальная. Вместе c этим следует отметить, что для больших сообщений время передачи по тороидальной сети может быть меньше, чем по древовидной сети.

Арифметическая и логическая аппаратура древовидной сети поддер-

живает такие глобальные целочисленные операции, как отыскание миниму -

ма или максимума, вычисление суммы или разности, порaзрядные логиче-

ские операции: И, ИЛИ, исключающее ИЛИ (сложение по модулю 2). Латентность древовидной сети 1ВМ В1ие Gene/L при выполнении таких

операций в 10-100 раз меньше, чем y сетей других суперВС.

Глобальная операция суммирования c плавающей запятой в пределах

всего пространства вычислительных узлов IВМ В1ие Gene/L выполняется

примерно за 10 мкс. При этом требуется двукратное использование древо-

., ., видной сети: первый раз для отыскания максимального порядка чисел,

второй раз для суммирования «сдвинутых» мантисс.

Аппаратура древовидной сети поддерживает два виртуальных канала, что позволяет одновременно реализовать две неблокируемые глобальные

операции.

Важной особенностью коммуникационной среды IВМ В1ие Gene/L является то, что обе сети и тороидальная, и древовидная могут работать параллельно. При формировании пользовательскиx подсистем автоматически обеспечивается связность их вычислительных узлов и по тороидальной, и по древовидной сетям.

Сеть синхронизации IBM В1ие Gene/L. Эта сеть, называемая также сетью «барьер» (Barrier Network), используется для реализации в суперВС глобальных операций «барьер» (Barrier) и прерывание (Interrupt). Операция

«барьер» необходима для синхронизации процессов, протекающих в различных ядрах вычислительных узлов. Суть ее заключается в том, что любой процесс, достигший точки синхронизации, не может быть продолжен до тех пор, пока все остальные процессы не достигнут своих точек синхронизации. Операция «барьер» всегда должна предшествовать коллективным обменам информацией в суперВС (см. рaзд. 3.3.6, 4.4.1).

279

6. Мультипроцессорные вычислител1 ,ные системы

Прерывание требуется при обнаружении неисправности в системе в целом или в ее подсистеме и для запуска проц одур диагностики и восстановления.

Операции «барьер» и прерывание реализ уются в логических схемах соответственно глобального И и глобального У:ЛИ (охватывающих вычислительные узлы в пределах или всей суперВС, или ее подсистемы).

Сеть ввода-вывода IBM В1ие Gene/L. Сеть для ввода-вывода информации является внешней по отношению к суперВС. В ЭВМ В1ие Gene/L

она представляет собой Gigabit Ethernet (см. рис. 6.15). Эта сеть обеспечива-

ет связь суперВС c глобальной файловой системой и хост-компьютерами. Подключение Ethernet-коммутаторов к у.,лам ввода-вывода суперВС

осуществляется через гигабитный Еннегпен-интерфейс.

Сеть ввода-вывода и глобальная древовидная сеть IBM B 1ие Gene/L

функционально связаны. Роль посредников таксой связи играют узлы вводавывода, причем каждый из них способен взаимо действовать c 64-мя вычислительными узлами по древовидной сети. След звательно, древовидная сеть используется и при загрузке суперВС. Скорость трансляционной передачи

информации (Broadcast) от узла ввода-вывода к 64-м вычислительным узлам

составляет 2,8 Гбит/с. Скорость обмена узла ввода-вывода c файловой системой по одному линку Ethernet равна 1 Гбит/с.

Число узлов ввода-вывода в суперВС Не фиксировано. Их максимальное число, отнесенное к числу вычислите. тьных узлов, составляет 1:8.

1:64, то 64К-Еслибыконфигурированиепроизводилосьcотношением

узловая IBM В1ие Gene/L имела бы 1024 узла ввода-вывода c пропускной

способностью более 1 Тбит/с (что превышало б ы возможности древовидной

сети).

6.8.4. Конструкция системы IBM Blue Gene/L

Для формирования конфигураций вычислительной системы IBM В1ие

Gene/L применяются стойки, в каждой из котор ых размещается 1024 вычис-

лительных узла (двyxъядерных микропроцессоров PowerPC). Полностью

укомплектованная стоика характеризуется след дующими показателями : про-

требление до 27,6 кВт, цена 2 млн долл. \4одель ЭВМ В1ие Gene/L, занимающая в 2008 г. первую позицию списка Тор500, состоит из 104 стоек.

Структура межузловых связей в любой стойке модели IBM В1ие Gene/L

3D-тор: 1024 (2Х 16X32).

При формировании конфигураций IBM F lue Gene/L используется ие-

рархия констpуктивов (табл. 6.1).

280