
- •Лекция №2
- •Кластер представляет собой два или более компьютеров (часто называемых узлами), объединяемые при помощи
- •Кластеризация может осуществляться на разных уровнях компьютерной системы, включая аппаратное обеспечение, операционные системы,
- •Классы кластеров
- •Типы кластеров
- •История создания
- •Beowulf-кластер
- •Архитектура кластерной системы (способ соединения процессоров друг с другом) в большей степени определяет
- •Вычислительные сети
- •Примеры топологии сети передачи данных
- •Примеры топологии сети передачи данных
- •Примеры топологии сети передачи данных
- •Примеры топологии сети передачи данных
- •Примеры топологии сети передачи данных
- •Примеры топологии сети передачи данных
- •Плоская решетка
- •Примеры топологии сети передачи данных
- •Гиперкуб
- •Гиперкуб – отличительные признаки
- •«Толстое дерево" (fat-tree)
- •Характеристики топологии сети
- •Характеристики топологии сети
- •Характеристики топологий сети передачи данных (p – количество процессоров)
- •способ соединения процессоров друг с другом больше влияет на производительность кластера, чем тип
- •Принципы построения коммуникационных
- •Общие принципы
- •Ethernet (пакетная обработка файлов)
- •Fast Ethernet
- •Основные достоинства и недостатки технологии Fast Ethernet
- •Gygabit Ethernet
- •10 Gygabit Ethernet
- •Коммуникационная среда Myrinet
- •Преимущества Myrinet
- •Характеристики Myrinet
- •Схема работы адаптера Myrinet
- •SCI – Scalable Coherent Interface
- •SCI (продолжение)
- •Свойства SCI
- •Продукты на основе технологии SCI
- •Структура стека программного обеспечения Dolphin
- •Характеристики SCI
- •Quadrics
- •InfiniBand
- •InfiniBand (продолжение)
- •InfiniBand (продолжение)
- •PathScale
- •PathScale (продолжение)
- •NUMAlink
- •Латентность и полоса пропускания различных интерконнектов
- •Linux кластеры ПРЕИМУЩЕСТВА:
- •Linux кластеры НЕДОСТАТКИ:
- •Linux кластеры НЕДОСТАТКИ:
- •Linux кластеры НАЗНАЧЕНИЕ:

Характеристики SCI
Показатели |
Для продуктов Dolphin: пиковая пропускная способность – 5.33 |
производительно |
Гб/с |
сти |
Аппаратная латентность – 1.4 мкс |
Программная |
Драйверы для Linux, Windows NT, Solaris. ScaMPI — реали- зация |
поддержка |
MPI компании ScaliComputer для систем на базе SCI. SISCI API— |
|
интерфейс программирования нижнего уровня. |
Комментарии |
SCI (ANSI/IEEE 1596-1992) - стандартизированная технология. |
|
Кроме стандартной сетевой среды, SCI поддерживает построе- |
|
ние систем с разделяемой памятью и с когерентностью кэшей. |
|
На коммуникационной технологии SCI основаны кластерные |
|
системы компании SCALI Computer, системы семейства hpcLine |
|
компании Siemens, а также cc-NUMA-сервера Data General и |
|
Sequent.Технология SCI использовалась для связи гиперузлов в |
|
системах HP/Convex Exemplar X-class. |

Quadrics
У технологии Quadrics есть два критических преимущества, которые пока почти никем не были перекрыты.
очень небольшое время задержки, порядка 2 мкс
Quadrics имеет на своем счету самые крупные инсталляции.
Поэтому Quadrics пока остается лидером по части масштабности проектов.
Однако о самой технологии, которая используется в решениях Quadrics уже более 5 лет, сказать ничего определенного нельзя. Дело в том, что изначально этот интерконнект разрабатывался для американских оборонных и других специальных учреждений, потому его очень сложно экспортировать, в частности, в Россию.

InfiniBand
Решения на основе архитектуры InfiniBand используются на четырёх основных рынках:
корпоративные центры данных (включая хранилища данных),
высокопроизводительные компьютерные кластеры (HPCC),
встроенные приложения
коммуникации.

InfiniBand (продолжение)
Технология InfiniBand позволяет объединять стандартные серверы в кластерные системы для обеспечения центрам данных
производительности,
масштабируемости
устойчивости к сбоям,
т.е. предоставляют те возможности, которые обычно предоставляются только платформами высшего класса стоимостью в миллионы долларов.

InfiniBand (продолжение)
Коммутаторы InfiniBand построены на основе чипов: Mellanox InfiniScale and InfiniScale III
Поддерживают 10 и 30 Гбит/с порты в гибкой конфигурации.
InfiniBand более производителен по сравнению с коммутаторами Ethernet, а также с другими, более дорогими локальными сетями.
Преимущество InfiniBand даёт производительность в 10 Гбит/с и удалённый прямой доступ к памяти (RDMA).

PathScale
Компания PathScale, разработчик программных и аппаратных решений для Linux-кластеров, представила в 2006 г.
рекордные результаты производительности своего нового интерконнекта PathScale InfiniPath
Адаптер PathScale InfiniPath — это уникальное решение, обеспечивающее рекордно низкое время задержки интерконнекта (до 1,3 мкс на библиотеке MPI) при пропускной способности 10 Гбит/с.
PathScale InfiniPath подключается напрямую к системной шине HyperTransport, реализуя преимущества архитектуры AMD DirectConnect. Для построения кластерных систем использует стандартную инфраструктуру InfiniBand.

PathScale (продолжение)
Преимуществом PathScale InfiniPath является рост производительности с увеличением количества процессоров в вычислительном узле, что особенно актуально в связи с тенденцией перехода к использованию многоядерных процессоров.
Наибольший выигрыш в производительности достигается при передаче сообщений маленького размера, что позволяет технологии PathScale InfiniPath обеспечивать во многих случаях лучшую, даже чем при использовании систем с общей памятью, производительность.

NUMAlink
С микропроцессорами, способными совершать более миллиона операций в секунду (меньше 1 нс на операцию), быстрый доступ к памяти важен для достижения сбалансированной, устойчивой производительности при обработке технических задач.
Данные, передаваемые через коммутатор SGI NUMAlink, совершают полный оборот всего за 50 нс по сравнению с 10 000 нс и более, характерных для многих стандартных кластерных интерконнектов.
Технология SGI NUMAlink является единственным интерконнектом, обеспечивающим режим глобальной памяти с общим доступом между узлами.

Латентность и полоса пропускания различных интерконнектов
Технология |
Поставщик |
Латентность MPI |
Полоса пропускания |
|
|
usec, short msg |
на линк (дуплекс, |
|
|
|
Mбайт/с) |
NUMAlink 4 (Altix) |
SGI |
1 |
3200 |
RapidArray (XD1) |
Cray |
1,8 |
2000 |
QsNet II |
Quadrics |
2 |
900 |
Infiniband |
Voltaire |
3,5 |
830 |
High Performance Switch |
IBM |
5 |
1000 |
Myrinet XP2 |
Myricom |
5,7 |
495 |
SP Switch 2 |
IBM |
18 |
500 |
Ethernet |
Различные |
30 |
100 |

Linux кластеры ПРЕИМУЩЕСТВА:
• НА ПОРЯДОК ВЕЛИЧИНЫ
ЛУЧШЕ
БЫСТРЕЕ
ДЕШЕВЛЕ
ПРОЩЕ
значительное уменьшение отношения цена/
производительность
• ПРОСТЫ В ИСПОЛЬЗОВАНИИ
CLUSTER CROSSBARs