2. Блэйд-платформа tb2

В суперкомпьютере используются 3 вида вычислительных узлов и процессоры с различной архитектурой. Первый и основной тип, обеспечивающий свыше 90% производительности суперкомпьютера, — блэйд-платформы TB2. Также в «Ломоносове» задействованы блэйд-системы TB1.1 с увеличенным объёмом оперативной памяти и локальной дисковой памятью и платформы на базе многоядерного процессора PowerXCell 8i, использующиеся в качестве мощных ускорителей для ряда специфических задач.

Основные особенности платформы TB2:

• Шасси высотой 7U для установки в стандартную стойку 19”;

• 16 вычислительных модулей, подключаемых в «горячем» режиме, с 64 процессорами серии Intel Xeon 56xx (каждый вычислительные модуль содержит на одной плате 2 двухпроцессорных вычислительных узла);

• 2 интегрированных 36-портовых коммутатора QDR InfiniBand;

• Интегрированный управляющий модуль с коммутаторами GbE и специальными средствами HPC;

• Воздушное охлаждение, использующее заменяемые в «горячем» режиме высокопроизводительные вентиляторы;

• Блоки питания мощностью 11 кВт, резервируемые по схеме «N+1».

Таблица 2.1. Технические характеристики платформы TB2

Одна платформа TB2 с 16 блэйд-серверами TB2-XN на базе процессоров Intel Xeon X5670 обеспечивает производительность 27 Тфлопс в стандартной стойке высотой 42U.

Рис 2.1. Общий вид блэйд-платформы TB2

Рис. 2.2. Отсеки для блэйд-серверов в корзине. Рис. 2.3. Процесс извлечения блэйд-сервера из корзины

3. Блэйд-сервер tb2-xn

1. Внешний вид и компоновка

Блэйд-сервер TB2-XN состоит из одной печатной платы с двумя отдельными двухпроцессорными узлами на ней, которая крепится к радиатору, обеспечивающему охлаждение всего модуля. Каждая плата подключается к объединительной плате (backplane) с помощью разъема питания и сигнального разъема, смонтированного на PCB, и поддерживается механическими направляющими, которыми снабжается каждый лоток.

Рис. 3.1. Плата блэйд-модуля с установленным радиатором

Рис. 3.2. Плата блэйд-модуля со снятым радиатором

Рис. 3.3. Мезонинная плата модуля памяти, вид снизу и сверху

2. Конфигурация вычислительного узла

Каждый из двух вычислительных узлов блэйд-сервера оснащается:

• Двумя процессорами Intel Xeon серии 56XX (Westmere) с тепловым пакетом (TDP) 95 Вт каждый и тактовой частотой до 2,93 ГГц;

• Двумя модулями памяти в специальном исполнении мезонинной платы с 27 микросхемами памяти (9 микросхем на каждый из трех каналов), обеспечивающими 6 или 12 гигабайт памяти на каждый сокет ЦП. Используются трехканальная память ECC DDR3-1333;

• Набором микросхем Intel Tylersburg 24D+ ICH10 с соединениями QPI, обеспечивающими скорость коммуникаций между ЦП 6,4 тыс. передач/с (3,2 ГГц);

• Однопортовой микросхемой Mellanox ConnectX QDR InfiniBand, соединенной с набором микросхем Tylersburg через канал PCIe 2.0 x8;

• Однопортовым контроллером GbE, подключенным к ICH10;

• Контроллером USB для флэш-накопителей miniSD или microSD и коннектором для флэш-карты;

• Управляющим контроллером (Baseboard management controller, BMC) и отдельным однопортовым контроллером GbE для подключения BMC;

• Одним последовательным портом, соединенным с BMC;

• Пятью сигнальными линиями GPIO;

• Централизованной архитектурой хранения без интегрированного на печатной плате контроллера SAS/SATA; каналы интегрированного контроллера SATA не задействованы, а соответствующая часть BIOS отключена;

• Двумя микрокнопками («Питание» и «Сброс») на заднем крае блэйд-модуля.

Таблица 3.1. Технические характеристики блэйд-сервера TB2-XN

Рис. 3.4. Блок-схема блэйд-сервера TB2-XN