Национальный исследовательский ядерный университет «МИФИ»

ДОКЛАД

на тему: «Суперкомпьютер «Jaguar XK-6»

Подготовил: Дарадур В.С.

группа К1-12М

Проверил: к.т.н. Чепин Е.В.

Москва 2012

Содержание:

1. Суперкомпьютер Jaguar	3
2. Суперкомпьютер Cray XK-6	4
3. Cray Gemini Interconnect	6
4. Процессор AMD Opteron 6274	8
5. Сопроцессор NVidia Tesla X2090.	9
6. Структурная нотация и расчет производительности	11
7. Источники	12

1. Суперкомпьютер Jaguar

Суперкомпьютер Jaguar, размещён в национальном центре компьютерных исследований в Оук-Ридже, штат Теннеси (National Center for Computational Sciences). Используется для моделирования сложных процессов, к примеру просчета глобальных климатических изменений, повышение энергоэффективности грузовиков, моделирование мягкой материи, моделирование горения топлива. В данное время (август 2012) занимает 6 место в мире рейтинге суперкомпьютеров.

Суперкомпьютер Jaguar имеет массово-параллельную архитектуру, то есть состоит из множества автономных ячеек содержащих процессор и локальный банк оперативной памяти. Доступ к банку оперативной памяти данного узла имеют только процессоры из этого же узла. Узлы соединяются специальной коммуникационной сетью «Gemini».

Суперкомпьютер Jaguar управляется операционной системой «Cray Linux Environment». Она состоит из полноценных версий ОС Linux в управляющих ячейках и вычислительных микроядер «Compute Node Linux». Микроядра разработаны с целью минимизировать накладные расходы на взаимодействие между ячейками.

Суперкомпьютер Jaguar базируется на суперкомпьютерах Cray XK-6.

В ходе модернизации 2012 года 18 688 ячеек установлены графические процессоры NVidia Tesla с новой усовершенствованной архитектурой NVidia Kepler, в результате чего суперкомпьютер сменит имя на «Titan».

Графические процессоры добавили уровней параллелизма в системе и позволяют достичь 10-20 петафлопс с тем же пространством и практически с теми же требованиями к мощности.

В то время как процессоры AMD Opteron имеют 16 ядер и, следовательно, способны выполнять 16 вычислительных задач одновременно, графические процессоры смогут решать сотни вычислительных задач, в это же время.

Конфигурация системы суперкомпьютера Jaguar:

Архитектура	XK-6
Производитель	Cray Inc.
Процессор	16-Core AMD
Терминалы	200
Ячейки	18 688
Ядер в ячейке	16
Всего ядер	299 008
Память на ячейку	32GB DDR3
Память на ядро	2GB
Соединение	Gemini Interconnect
Графические процессоры	960
Дисковое пространство (ТБ)	10 000
Занимаемая площадь (м2)	404
Технология охлаждения	Жидкостная
Мощность	5142 кВ

2. Суперкомпьютер Cray xk-6

Суперкомпьютер Cray XK-6 является трехмерным, скалярным, сетевым и многоядерным новшеством. Он сочетает в себе 16 ядерные процессоры AMD Opteron 6274 и многоядерные NVIDIA Tesla X2090, объединенные коммуникационной сетью Gemini, собственной разработки Cray. Работает суперкомпьютер в среде Linux Operating Environment. Гибридная пиковая производительность системы оценивается в 50 петафлопс. (petaflops — 1 000 000 000 000 000 операций с плавающей запятой в секунду)

Рисунок 1 - Схема взаимодействия процессоров.

Суперкомпьютеры Cray XK6 базируются на четырехсокетных вычислительных платах, включающих в свой состав четыре центральных процессора AMD, четыре чипсета SR5670 от AMD, четыре сопроцессора NVidia Tesla X2090. 

1 терминал содержит до 24 вычислительных плат, это 96 ячеек, соответственно до 96 процессоров AMD и 96 сопроцессоров NVidia. Общая производительность 1 шкафа оценивается 70+ терафлопс.

XK-6 может масштабироваться до 500000 ядер Opteron, выдавая при этом пиковую гибридную производительность до 50 петафлопс.

Раскрыть потенциал производительности помогает унифицированная среда разработки ПО для x86/GPU, в которую входят необходимые инструменты, включая библиотеки, компиляторы и вспомогательные программы.

Спецификация Cray XK6

Процессор	16-core 64-bit AMD Opteron 6274; NVIDIA Tesla X2090 GPU
Память	32 GB registered ECC DDR3 SDRAM and 6 GB GDDR5 на ячейку
1 терминал	Может включать до 1536 ядер AMD Opteron
Соединение	1 маршрутизатор Gemini ASIC на 2 компьютерные ячейки
	48 соеденительных порта на чип Gemini (160 GB/s)
	Сеть 3D торус
Администрирование системы	Cray система управления рабочей станцией и система администрирования графической и командной линии
	Возможность отката ПО
Особенности надежности (Hardware)	Cray Hardware Supervisory System (HSS) with independent 100 Mb/s management fabric between all system blades and cabinet-level controllers
	Полная защита ECC всех пакетов трафика сети Gemini
	Модуль регуляции избыточного напряжения
	Резервные пути ко всей системе RAID
Особенности надежности (Software)	HSS система мониторинга всех ядер операционных систем
	Программное обеспечение failover для критических системных служб включая системную базу данных, системный регистратор и пакетные подсистемы NodeKARE
Операционная система	Cray Linux Environment (включая компоненты SUSE Linux SLES11, HSS и SMW) Extreme Scalability Mode (ESM) и Cluster Compatibility Mode (CCM)
Компиляторы библиотеки и инструменты	PGI compilers, Cray Compiler Environment, PathScale, CUDA, CAPS, поддержка Fortran 77, 90, 95; C/C++, UPC, Co-Array Fortran, MPI 2.0, Cray SHMEM и др.
Управление работой	PBS Professional, Moab Adaptive Computing Suite, Platform LSF
Внешний интерфейс I/O	InfiniBand, 10 Gigabit Ethernet, Fibre Channel (FC) and Ethernet
Дисковое пространсто	Full line of FC-attached disk arrays with support for FC and SATA disk drives
Параллельная файловая система	Lustre, Data Virtualization Service allows support for NFS, external Lustre and other file systems
Мощность	45-54.1 kW (45.9 - 55.2 kVA) на терминал, зависит от конфигурации
Размеры шкафа	H 93 in. (2,362 mm) x W 22.50 in. (572 mm) x D 56.75 in. (1,441 mm)
Максимальный вес	1,600 lbs. (725 kg) терминал с воздушным охлаждением; 2,000 lbs. (907 kg) терминал с водяным охлаждением.
Сертификаты соответствия	UL 60950-1, CAN/CSA - C 22.2 No. 60950-1, CE-mark, RoHS, WEEE
Безопасность	FCC Class A, VCCI Class A, ICES-003, EN 50022:2006 Class A, AS/NZS CISPR 22:2006, EN 55024: 1998 +A1:2002 +A2:2003

3. Cray Gemini Interconnect

Cray Gemini Interconnect - коммуникационная тороидальная сеть.

Топология представляет собой цельный 3D Торус размером 25х32х24.

Каждая ячейка снабжена маршрутизатором High Radix YARC, чтобы поддерживать до 168 Гбит/с.

Параллельные электрические и оптические каналы обеспечивают высокую пропускную способность и более низкую задержку для длинных и коротких сообщений.

Рисунок 2 - Пример взаимодействия Gemini 8х8

Gemini может передавать 64 байт данных в каждом направлении через каждые 5 циклов, что соответствует максимальной пропускной способности в направлении 64 х 650/5 = 8,3 Гбайт/с.

Каждый сетевой адаптер Gemini имеет 10 сетевых подключений, по два в +X,-X, +Z,-Z, и по одному +Y, -Y.

Каждый из 10 соединений торуса Gemini состоит из 12 полос движения в каждом направлении, работающих от 3,125 до 6,25 ГГц, что дает пропускную способность от 4,68 до 9,375 Гб/с в каждом направлении, хотя MPI может видеть лишь от 2,9 до 5,8 ГБ/с в каждом направлении. (Message Passing Interface — программный интерфейс (API) для передачи информации, который позволяет обмениваться сообщениями между процессами, выполняющими одну задачу)

Каждая гибридная ячейка соединена с сетью Gemini посредством технологии HyperTransport™ 3.0. Такая архитектура подключения обходит узкое горлышко PCI, и обеспечивает пропускную способность свыше 20 ГБ/с.

Внутри ячейки задержка составляет около 1,5 мкс в спокойной сети. Задержка между ядрами меньше 1 мкс для двух ядер подключенных к одному чипу Gemini.

Рисунок 3 - Пример соединения в 3D торе.