10G Ethernet:
- Производители: Mellanox, Cisco, Brocade,…
- Пропускная способность TCP/IP: до 1,2 Гбайт/с
- Пропускная способность MPI: до 700 Мбайт/с
- Задержка: ~10 мкс
- Топология: Коммутируемая
InfiniBand:
- Производители: Qlogic, Mellanox,Cisco, …
- Эффективная пропускная способность: базовая 2ГБит/с (модификации SDR, DDR, QDR, FDR, EDR, 1Х, 4Х, 12Х) до 56 Гбит/с
- Задержка: ~ 100 нс – 500 нс (3 мкс)
- Топология: Fat Tree (до 648 портов в коммутаторе/директоре)
Проприетарные технологии:
- Тороидальные топологии межузловых соединений: пример: Tofu interconnect Architecture (6D torus, 10 link, 2009) - K Computer
- Каждый с каждым: NEC SX
RDMA: классический режим работы DMA: прямой доступ к памяти - режим обмена данными между устройствами или же между устройством и основной памятью без участия ЦП. В результате скорость передачи увеличивается, так как данные не пересылаются в ЦП и обратно.
RDMA: удаленный прямой доступ в память: вариант прямого доступа к памяти DMA к ОЗУ другого компьютера. Такой доступ позволяет получить доступ к данным хранящимся в удаленной системе без привлечения ОС обоих компьютеров. Является методом пересылки данных с высокой пропускной способностью и низкой латентностью и особенно полезен в кластерах.
Кластерные системы. Архитектуры межузловых соединений (топологии). Метрики (характеристики) топологий. Типы передач данных при оценке потерь.
Классификации топологий
1. Уровень
- Логический
- Физический
2. Однородность
- Однородные
- Неоднородные
3. Регулярность
- Регулярные
- Нерегулярные
- Частично регулярные: с краевыми эффектами, с нарушенной структурой
- Иерархические
Некоторые топологии:
- Шина
- N-мерная решетка
- Звезда
- Кольцо
- Полносвязная
- Дерево (в т.ч. бинарное)
- Гиперкуб
- 2D/3D-тор
- Толстое дерево (Fat Tree) (1)
- Плоская бабочка (Flattened Butterfly) (2)
- Топология Dragonfly (3)
Характеристики топологий:
- Диаметр (D)
- Связность (C)
- Ширина бинарного деления (BW)
- Стоимость (Cst)
Типы передач:
1. По способу передачи
- Сообщения
- Пакеты
2. По направлению:
- 1->1
- Простая 1->N / N->1
- Обобщенная 1->N / N->1
- Обобщенная N->N
Необходимо учитывать при оценке потерь на передачах
- Время до начала пересылки
- Время пересылки служебных данных (заголовок и т.п.)
- Время пересылки полезных данных
Концепция GRID. История развития. Классификации GRID-систем. Уровни ПО GRID-систем.
GRID (Я. Фостер (2002)):
1. Объединение ресурсов, которые управляются не централизованно
2. Используя стандартные, открытые, неспециализированные протоколы и интерфейсы
3. Для предоставления нетривиального качества обслуживания
GRID: История создания
Включает:
---История развития сетевых технологий
---История развития вычислительных систем
---История развития сетевых служб и протоколов
---История развития средств программирования
---История развития ПО ГРИД-систем
- С 1967 – первые сетевые устройства с коммутацией пакетов
- 2009 – продолжение следует…
GRID: История создания ПО
1. 1988 – Проект Condor
- Запуск приложений в рамках вычислительной сети департамента
- Поиск подходящих ресурсов
- Устойчивость к сбоям
2. 1993 – Проект Legion
- Объектно-ориентированная модель всех ресурсов
3. 1994 – Проект Nimrod
- Централизованное управление индивидуальными задачами
- Поиск свободных ресурсов и запуск на них задач
- LAN-ориентированное ПО
4. 1997 – Проект UNICORN
- Комбинация инструментальных средств и портала
5. 1997 – Storage Resource Broker (SRB)
- Клиент-серверное промежуточное ПО
- Однородный интерфейс для подключения к гетерогенным ресурсам данных через сеть и доступ к реплицируемым наборам данных
- Доступ к наборам данных и ресурсам используя их атрибуты, а не имена или место расположения
6. 1998 – Globus Toolkit 1.0
- Средства управления безопасностью
- Средства доступа к данным и передачи данных
- Средства поиска и распределения ресурсов
- Средства для удаленного выполнения задач
7. 1998 - Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1998
- Описание GRID концепции и способов ее применения
8. 2002 – Open GRID Service Architecture (OGSA)
- Объединение GRID и Веб-сервисов
9. Современность – Globus Toolkit 4, новые подходы к построению GRID на уровне исследований
Типы GRID по титульным ресурсам
- Вычислительные
- Сети данных
- Приложений
- Для доступа к уникальному оборудованию
- Семантические
- Коммуникационные
Классификация GRID
Уровни ПО GRID систем:
1. Приложения для конкретных научных сфер: химия, биология, косметология, физика высоких энергий, экология
2. Наборы инструментальных средств: удаленная визуализация, распределенные вычисления, средства программирования, удаленные измерения, коллективные приложения
3. GRID-сервисы: аутентификация, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей
4. GRID-ресурсы: транспортные протоколы, сервера имен, планировщики использования процессоров, инфраструктура открытого ключа, статистика по отдельным сайтам, сервис каталогов
Применение GRID (решение вычислительно сложных задач): физика высоких энергий, биофизика, геофизика и геология, химия и биохимия, генетика, астрономия и космология, метеорология, материаловедение
Примеры GRID систем
1. TeraGRID
--- Объединяет более 30 ВС: SMPs, MPPs, Clusters
--- Производительность более 1,9 PFLOPS (>1,5 PFLOPS)
--- Общая емкость разделяемого хранилища данных более 5 петабайт
2. Enabling Grids for E-sciencE (EGEE)
_ Инфраструктура приблизительно из 260 сайтов в 50 странах
_ Более чем из 92 тыс. ЦПУ, доступная пользователям круглосуточно 7 дней в неделю
_ Созданы ресурсы хранения свыше 20 петабайт
_ Поддерживается устойчивая и постоянная работа на уровне 30 тыс. задач в сутки; эта нагрузка может повышаться до 150 тыс. задач в сутки
_ Обеспечены возможности передачи данных на уровне свыше 1.5 ГБ/с
3. Russian Data Intensive Grid (RDIG)
_ Организован в 2003 году
_ Инфраструктура для интенсивных операций с научными данными
_ 15 ресурсных центров, в том числе МИФИ
_ 2758 процессоров