Устройства памяти
Большинство кластеров требуют, чтобы узлы имели параллельный доступ к устройствам памяти, а также к одним и тем же файлам и базам данных. Нужда в очень быстром и надёжном доступе к данным особенно велика в высокопроизводительных вычислительных кластерах. В зависимости от конфигурации и приложений, которые запускаются на кластере, можно выбрать различные опции памяти, которые обеспечивают требуемую производительность и надёжность.
Существуют две основные опции конфигурации памяти: прямой доступ и распределённое хранение.
При прямом доступе каждый узел может напрямую выходить на все имеющиеся системы хранения информации, при распределенном хранении существуют один или несколько узлов ввода-вывода, которые и управляют всеми средствами хранения в системе, осуществляя поиск, резервное копирование и миграцию файлов по системе.
Программное обеспечение
Программное обеспечение так же, как и аппаратное является неотъемлемой частью кластера. Существует системное программное обеспечение, которое в большой степени и определяет конфигурацию кластера.
Операционная система. Толчком к увеличению интереса к системе Linux послужила его низкая стоимость и богатые функциональные возможности для развёртывания и управления приложениями.
Программное обеспечение управлением кластера. Инструментарий для управления кластером обеспечивает средства для эффективной компоновки, управления и расширения кластеров.
Поддержка высокопроизводительной файловой системы. В зависимости от конкретного приложения часто требуется, чтобы большое число узлов имело возможность одновременного (и параллельного) высокоскоростного доступа к одним и тем же файлам.
Элементы кластерных систем
1.1. Характеристики процессоров
64-х разрядные процессоры AMD Opteron/Athlon 64
Intel Itanium 2
Intel Xeon
Intel Pentium 4
AMD Athlon
Рассмотрим в начале процессор amd Opteron/Athlon 64.
Компания AMD выпустила на рынок процессоры нового поколения, основанные на ядре Hammer – Athlon 64 и Opteron. Первый предназначен для рынка персональных компьютеров, а второй — для рынка серверов.
Ключевые составляющие новых процессоров:
архитектура х86-64
ядро процессора
интегрированный контроллер памяти
шина ввода/вывода на основе Hyper Transport
Для перехода на 64-разрядную архитектуру компания AMD предложила расширение существующей архитектуры i386 в отличие от Intel с ее кардинально новым решением IA-64. При этом процессоры AMD сохраняют непосредственную совместимость с 32-х разрядными приложениями, в то время как процессоры на базе IA-64 вынуждены использовать специальный режим эмуляции, заметно снижающий производительность таких приложений.
В процессорах с ядром Hammer в 64-х разрядном режиме применяется "плоская" модель памяти, количество регистров общего назначения расширено до 16. Процессор имеет несколько режимов работы: кроме стандартных, существовавщих еще в i386, введен особый режим — Long mode. Когда он включен (бит LME выставлен в единицу), существует два частных режима работы процессора. В одном из них процессор находится в режиме совместимости, во втором — в полном 64-х разрядном режиме. Два частных режима необходимы для одновременной поддержки (в случае использования 64-х разрядной ОС) как 32-х (в этом случае и нужен режим совместимости), так и 64-х разрядных приложений. При этом переключения частных режимов Long mode происходят весьма быстро, в отличие от переключения режимов работы процессора.
По информации компании в настоящее время ведутся работы над несколькими независимыми версиями компиляторов для процессоров с архитектурой x86-64, которые позволят использовать преимущества х86-64: 8 дополнительных регистров общего назначения, 8 дополнительных регистров SSE2 и т.д. В то же время с успехом могут использоваться с 32-х разрядные компиляторы, что обеспечит работу процессора и в случае задержки разработки ПО для новой архитектуры.
Athlon 64 с рейтингом 3100+, что соответствует реальной частоте в районе 1,8 ГГц. В дальнейшем, видимо, модельный ряд будет следующим: 2800+ (1,6 ГГц), 3100+ (1,8 ГГц), 3400+ (2,2 ГГц), 3700+ (2,4 ГГц), 4000+ (2,6 ГГц) и 4300+ (2,8 ГГц).
Процессор Operton предназначен для использования в первую очередь в многопроцессорных системах. При этом архитектура такой системы представляет собой гибрид NUMA и SMP. С одной стороны, по распределению памяти это типичная NUMA архитектура (с неравномерным доступом к памяти), так как время доступа к памяти зависит от того, локальная ли это память. С другой стороны, AMD настаивает, что с точки зрения программной модели это SMP: неравномерность доступа составляет не разы, а проценты. AMD дала этой архитектуре название SUMO. Многопроцессорные конфигурации могут состоять из 4 процессоров, а при использовании дополнительных коммутаторов Hyper Transport и более.
Intel Itanium 2
|
Процессор Intel Itanium 2 является вторым процессором в семействе процессоров на базе архитектуры IA-64. Архитектура IA-64 выходит за пределы подходов RISC и CISC путем применения явных команд параллельных вычислений (EPIC - Explicit Parallel Instruction Computing), объединяя вычислительные ресурсы с работой компиляторов, что позволяет осуществить явное распараллеливание на процессоре. Архитектура с высокой параллельностью вычислений EPIC позволяет процессору выполнять до 20 операций за один такт. Внутренние ресурсы процессора комбинируются с предикативными и спекулятивными алгоритмами, что позволяет осуществлять оптимизацию высокопроизводительных приложений, запускаемых в большинстве операционных систем, включая версии Microsoft Windows, HP-UX и Linux. |
Архитектура IA-64 не является как 64-х разрядным расширением 32-х разрядной архитектуры х86 компании Intel, так и переработкой 64-разрядной архитектуры PA-RISC компании HP.
IA-64 представляет собой нечто абсолютно новое: архитектуру, использующую длинные слова команд (long instruction words - LIW), предикаты команд (instruction predication), устранение ветвлений (branch elimination), предварительную загрузку данных (speculative loading) и другие способы максимального извлечения параллелизма из кода программ.
Теоретическая пиковая производительность процессора при работе с числами с плавающей точкой 64-х разрядной точности составляет 4 Гфлоп/с при тактовой частоте 1 ГГц. При использовании 32-х разрядной точности пиковая производительность удваивается.
Совместимость с 32-х разрядным кодом обеспечивается специальным блоком декодирования и управления IA-32. По сути, выполнение 32-х разрядного кода происходит в режиме эмуляции, что отрицательно сказывается на производительности.
Как сообщается на сайте компании Intel, процессор Itanium 2 может содержать конструктивные дефекты или погрешности (errata), которые могут вызвать отклонение поведения продукции от предусмотренного в опубликованных спецификациях. Сведения о выявленных погрешностях и отклонениях предоставляются по запросу.
По результатам тестирования пакетом Linpack системы на Itanium 2 (1 ГГц) достигали максимальной производительности ~3,5 Гфлоп (N = 1000) при пиковой производительности 4 Гфлоп.
32-х разрядные процессоры
Intel Xeon
Отличительная особенность последних процессоров семйства Xeon — поддержка технологии, получившей название Hyper Threading. Впервые технология Hyper Threading была реализована в процессоре Intel Xeon MP (Foster MP). Xeon MP официально использует родственное Pentium 4 Willamette ядро, содержит 256 Kбайт L2-кэша и 512 Kбайт/1 Mбайт L3-кэша и поддерживает работу в 4-процессорных конфигурациях.
Принцип действия Hyper Threading основывается на том, что в каждый момент времени только часть ресурсов процессора используется при выполнении программного кода. Неиспользуемые ресурсы также можно загрузить работой: например, задействовать для параллельного выполнения еще одного приложения (либо другого потока этого же приложения).
В одном физическом процессоре Intel Xeon формируются два логических процессора (LP – Logical Processor), которые разделяют между собой вычислительные ресурсы CPU. Операционная система и приложения "видят" именно два CPU и могут распределять работу между ними, как и в случае полноценной двухпроцессорной системы.
Недавно Intel выпустила новую версию процессора с 533 мегагерцовой шиной. Существуют версии, работающие на тактовой частоте 2,80, 2,66, 2,40 и 2 ГГц.
По результатам тестирования пакетом Linpack системы на Xeon (2 ГГц) достигали максимальной производительности ~1,6 Гфлоп (N = 1000) при пиковой производительности 2 Гфлоп.
Intel Pentium 4
Pentium 4 — основной массовый процессор компании Intel, широко применяемый в настольных системах. Последние версии поддерживают технологию Hyper Threading, впервые появившуюся в процессорах Xeon. Последние версии Xeon используют ядро Prestonia, родственное ядру Pentium 4. Процессор относительно дешев, поэтому нередко применяется в недорогих кластерных системах.
AMD Athlon
Процессор AMD Athlon XP основан на архитектуре QuantiSpeed, характеристиками которой являются:
суперскалярная (имеющая несколько конвейеров и предусматривающая возможность выполнения более одной скалярной команды за такт) микроархитектура;
суперскалярный блок вычислений с плавающей точкой, выполняющий больше операций за такт, чем конкурирующие устройства семейства x86;
упреждающая выборка данных из памяти в кэш первого уровня, реализованная на аппаратном уровне;
специальные быстро работающие TLB-буферы (Translation Look-aside Buffers), хранящие схемы отображения данных и исключающие их повторение в кэше 2-ого уровня.
Процессор также поддерживает технологию 3DNow Professional, включающую операции для ускорения обработки мультимедийных данных. Модификация XP (extreme performance) процессора AMD Athlon возникла в результате сотрудничества AMD с Microsoft.
Athlon MP — процессор для двухпроцессорных решений от AMD, конкурент Intel Xeon. По результатам тестирования пакетом Linpack системы на Athlon MP 1800+(1530 МГц) достигали максимальной производительности ~1,7 Гфлоп (N = 1000) при пиковой производительности 3 Гфлоп.
Выводы
Большая часть систем, строящихся в настоящее время по технологии Beowulf-кластеров, создаются на основе процессоров Intel Xeon.
Так, восьмое место в списке занимает система с максимальной производительностью 3 337 Гфлоп (пиковая – 6 758 Гфлоп), состоящая из 768 двухпроцессорных узлов на базе Xeon 2,2 ГГц, расположенная в Forecast Systems Laboratory при NOAA. (Системные интеграторы: HPTi and Aspen Systems). В качестве межузловых соединений используется Myrinet 2000. Intel Xeon обладает рядом преимуществ по сравнению с альтернативными вариантами, в частности он использует перспективную технологию Hyper Threading для увеличения производительности параллельно выполняющихся задач. Кроме того, существует возможность построения вычислительных SMP-узлов с использованием до 4-х процессоров Xeon. На наш взгляд, среди 32-х разрядных процессоров Intel Xeon является предпочтительным вариантом. Этот процессор уже имеет хорошую репутацию среди создателей кластерных систем.
Если же рассматривать вариант вычислительного кластера на базе 64-х разрядных процессоров, то из двух возможных вариантов Intel Itanium 2 и AMD Opteron в ближайшее время более перспективным и в первую очередь безопасным с точки зрения вложения инвестиций в аппаратное обеспечение по нашему мнению представляется процессор Opteron. Он сохраняет непосредственную совместимость со старым 32-х разрядным ПО, (что может сэкономить значительные средства на приобретение нового ПО), обеспечивая его приличную производительность, а также позволяет провести переход на новую технологию менее болезненно. Возможность в полной мере использовать 32-х разрядное ПО позволяет не опасаться возможных неудач, которые крайне нежелательны при работе не с экспериментальной, но с промышленной системой. Стоит, однако, отметить, что данный процессор еще не появился на рынке, его появление запланировано только на конец первого квартала 2003 года. В то же время уже существуют вычислительные системы, построенные на основе его конкурента Itanium 2. Например, система HP rx5670, занимающая 42-ю позицию в TOP500: 545 процессоров Itanium 2, производительность 1 090 Гфлоп (пиковая – 1 962 Гфлоп). Решение на новых 64-х разрядных процессорах сопровождается определенными рисками, поэтому нужно определить, действительно ли используемым приложениям необходима 64 разрядность.