Модель Cray xe6

Основой суперкомпьютера Cray XE6 стали процессоры Opteron 6100 и новая система внутренних соединений под названием Gemini.

Gemini «основательно изменит и существенно улучшит» передачу данных внутри суперкомпьютера. Спроектированная для многоядерных процессоров система Gemini обеспечивает 100-кратное улучшение в скорости обмена сообщениями и трехкратное уменьшение задержки. Кроме того, в Gemini реализована аппаратная поддержка глобального пользовательского адресного пространства. Отчасти разработка Gemini стала возможной, благодаря участию фирмы Cray в программе по разработке суперкомпьютеров, организованной агентством DARPA (Defense Advanced Research Projects Agency — «Управление перспективного планирования оборонных научно-исследовательских работ»). Напомним, DARPA является ядром научно-исследовательской структуры министерства обороны США. Именно здесь когда-то был разработан прообраз Интернет — сеть ARPAnet.

Суперкомпьютер Cray XE6 это модернизация систем Cray XT5 и Cray XT6. Один блок (стойка) суперкомпьютера может содержать до 192 64-разрядных процессоров серии AMD Opteron 6100. Общее число ядер в одной стойке — 1536 или 2304, а пиковая производительность блока достигает 12,2 или 20,2 TFLOPS, соответственно. Именно процессоры фирмы AMD помогли фирме Cray некоторое время назад отобрать у фирмы IBM первенство в мировом рейтинге суперкомпьютеров.

В распоряжении каждого процессорного узла находится 32 или 64 Гбайта оперативной памяти стандарта DDR3 с ECC. Пропускная способность подсистемы оперативной памяти узла оценивается в 85,3 ГБ/с. Каждая пара узлов оснащена собственной заказной микросхемой Gemini, выполняющей маршрутизацию и обмен информацией между узлами. Одна такая микросхема имеет 48 портов суммарной пропускной способностью 160 ГБ/с.

Наряду с аппаратными усовершенствованиями, суперкомпьютер Cray XE6 отличается от своих предшественников новой версией программной среды Cray Linux Environment, выпуск которой был анонсирован в апреле 2010 года.

Многие крупные заказчики уже подписали контракты на поставку Cray XE6. Среди них — корейская метеорологическая администрация и департамент энергетики США. Три системы Cray XE6 получит исследовательская лаборатория ВВС США. Новые суперкомпьютеры решили приобрести и другие подразделения американского военного ведомства — этому способствует наличие программы министерства по модернизации суперкомпьютерного парка.

Система Blue Gene/L

Структура

В рабочем варианте суреркомпьютера Blue Gene/L была реализована идея использования суперскалярных процессоров с традиционной для фирмы IBM архитектурой Power, а также предпринята попытка уменьшить удельное (в пересчете на одну операцию) потребление электрической энергии и выделение тепла. Для достижения этой цели вычислительный модуль (ВМ) построен на базе специально разработанной заказной микросхемы, которая представляет собой систему на кристалле, содержащую встроенные процессоры PowerPC, встроенную динамическую оперативную память (DRAM), три уровня кэш-памяти и каналы для объединения кристаллов. Тактовая частота вычислительного модуля выбрана сравнительно низкой, на уровне 700 Мгц, с целью уменьшения потребления энергии и разрыва в быстродействии оперативной памяти и процессора.

В вычислительном модуле может быть локальная оперативная память до 2 Гбайт. В проекте использовано 9 DDR SDRAM микросхем с общим объемом памяти вычислительного модуля 256 Мбайт.

Каждый из двух процессоров вычислительного модуля может выполнять 2 операции за такт в формате «умножить-сложить» над 64-разрядными операндами двойной точности с плавающей точкой. Это соответствует 4 операциям за такт, если удается одновременно загрузить устройства умножения и сложения процессора, что позволяет иметь пиковую производительность процессора 2,8 Gflops.

Низкое тепловыделение позволяет разместить в одной стойке 1024 вычислительных модулей. При этом суперкомпьютер, состоящий из 65536 вычислительных модулей, потребляет около 1 МВт энергии, система его охлаждения весит около 300 тонн, а занимаемая площадь не превышает 240 кв. метров.

Кроме вычислительного модуля имеются также двухпроцессорные модули ввода-вывода. Модуль ввода-вывода отличается от вычислительного модуля только тем, что имеет больший объем оперативной памяти и ин­терфейс Giga Ethernet. На материнской плате может устанавливаться по одному мо­дулю ввода-вывода на каждые 8 вычислительных модулей. В проекте использован один модуль ввода-вывода на каждые 64 вычислительных модуля.

Вычислительные модули объединяются 5 коммуникационными средами:

коммуникационной средой со структурой 3-мерный тор для обмена сообщениями;

коммуникационной средой со структурой дерево для выполнения коллектив­ных операций MPI;

сетью барьерной синхронизации и прерываний;

сетью Giga Ethernet для управления и доступа к файловой системе;

сетью Giga Ethernet для диагностики и управления через интерфейс JTAG аппаратными средствами.

Конструкция массово параллельной системы BlueGene/L приведена на рис. 6.

Рис. 6. Конструкция суперкомпьютера BlueGene/L

Два вычислительных модуля размещаются на мезонинной плате, образуя фрагмент системы 1х2х1. На материнской плате устанавливается 16 мезонинных плат, обра­зующих фрагмент системы 4х4х2. В стойке размещаются 32 материн­ские платы, формирующие фрагмент системы 8х8х16. Вся система BlueGene/L состоит из 64 стоек и имеет в качестве графа межмодульных связей трехмерный тор 64х32х32.