Тема 6: Многопроцессорные архитектуры

План лекции:

5. Коммуникационные среды

6. Коммутаторы КС

6.8 Коммуникационные среды

Принципы построения коммуникационных сред

В самом общем смысле архитектуру компьютера можно опреде­лить как способ соединения процессоров между собой, с памятью и с внешними устройствами. Реализация этого соединения может идти различными путями.

Конкретная реализация соединений тако­го рода называется коммуникационной средой компьютера.

Одна из самых простых реализаций — это использование общей шины, к которой подключаются как процессоры, так и память. Сама шина состоит из определенного числа линий связи, необходимых для передачи адресов, данных и управляющих сигналов между про­цессором и памятью. Этот способ реализован в SMP-системах.

Ос­новным недостатком таких систем, как было указано ранее, являет­ся плохая масштабируемость. Увеличение, даже незначительное, числа устройств на шине вызывает заметные задержки при обмене с памятью и катастрофическое падение производительности системы в целом.

Необходимы другие подходы для построения коммуника­ционной среды, и одним из них является разделение памяти на не­зависимые модули и обеспечение возможности доступа разных про­цессоров к различным модулям одновременно посредством исполь­зования различного рода коммутаторов.

При этом возможны различные конфигурации получающихся систем связи.

Так, в компьютерах семейства Cray T3D/T3E все про­цессоры были объединены специальными высокоскоростными ка­налами в трехмерный тор, в котором каждый вычислительный узел имел непосредственные связи с шестью соседями.

В компьютерах IBM SP/2 взаимодействие процессоров происходит через иерархиче­скую систему коммутаторов, также обеспечивающую возможность соединения каждого процессора с любым другим.

Эти оригинальные уникальные решения значительно увеличивают цену компьютеров.

Существенно более простым и более дешевым оказалось ис­пользование системы связи на базе Ethernet, разработанной фирмой Xerox. Первоначально использовалась обычная 10-мегабитная сеть, затем стали применять Fast Ethernet, а в последнее время — Gigabit Ethernet.

Примеры построения коммуникационных сред на основе масштабируемого когерентного интерфейса SCI

SCI (Scalable Coherent Interface) принят как стандарт в 1992 г. Предназначен для достижения высо­ких скоростей передачи с малым временем задержки, при этом обеспечивая масштабируемую архитектуру, позволяющую строить системы, состоящие из множества блоков. Представляет собой ком­бинацию шины и локальной сети, обеспечивает реализацию когерентности кэш-памяти, размещаемой в узле SCI, посредством меха­низма распределенных директорий, который улучшает производи­тельность, скрывая затраты на доступ к удаленным данным в модели с распределенной разделяемой памятью. Производитель­ность передачи данных обычно находится в пределах от 200 до 1000 Мбайт/с на расстояниях десятков метров с использованием электрических кабелей и километров с использованием оптоволок­на.

SCI уменьшает время межузловых коммуникаций по сравнению с традиционными схемами передачи данных в сетях путем устране­ния обращений к программным уровням — операционной системе и библиотекам времени выполнения; коммуникации представляют­ся как часть простой операции загрузки данных процессором (ко­мандами load или store).

Узлы с адаптерами SCI могут использовать для соедине­ния коммутаторы или же соединяться в кольцо. Обычно каждый узел оказывается включенным в два кольца (рис. 3.40).

Традиционная область применения SCI — это коммуникацион­ные среды многопроцессорных систем. На основе этой технологии построены, в частности, компьютеры серии hpcLine от Siemens или модульные серверы NUMA-Q от IBM, ранее известные как Sequent.

Модульные SCI-коммутаторы Dolphin позволяют потребителям строить масштабируемые, кластерные решения класса предприятия на платформах Windows NT/2000/XP, Linux, Solaris, VxWorks, LynuxWorks и NetWare с использованием стандартизованного обо­рудования и программного обеспечения.

Коммуникационная среда MYRINET

Сетевую технологию Myrinet представляет компания Myricom, которая впервые предложила свою коммуникационную технологию в 1994 г., а на сегодня имеет уже более 1000 инсталляций по всему миру. Технология Myrinet основана на использовании многопорто­вых коммутаторов при ограниченных несколькими метрами длинах связей узлов с портами коммутатора. Узлы в Myrinet соединяются друг с другом через коммутатор (до 16 портов). Максимальная длина линий связи варьируется в зависимости от конкретной реализации.

Myrinet может одновременно передавать несколько пакетов, каждый из которых идет со скоростью, близкой к 2 Гбит/с. На сегодняшний день Myrinet чаще всего используют как локальную сеть (LAN) сравнительно не­большого физического размера, связывая вместе компьютеры внут­ри комнаты или здания.

Из-за своей высокой скорости, малого вре­мени задержки, прямой коммутации и умеренной стоимости, Myrinet особенно популярен для объединения компьютеров в кла­стеры.

Myrinet является открытым стандартом, компания Myricom предлагает широкий выбор сетевого оборудова­ния по сравнительно невысоким ценам. Технология Myrinet дает большие возможности масштабирования сети и в настоящее время широко используется при построении высокопроизводительных вычислительных кластеров.

Коммуникационная среда Raceway

Коммуникационная среда Raceway обеспечивает пропускную способность на уровне 1 Гбайт/с; среда передачи создается с помо­щью коммутатора фирмы Cypress и соответствующих сетевых адап­теров. Коммутатор имеет шесть портов, пропускная способность ка­ждого составляет 160 Мбайт/с. Порт состоит из 32 сигнальных ли­ний данных и пяти управляющих линий. При начале транзакции среда Raceway предварительно устанавливает соединение, задержка в коммутаторе при установлении соединения составляет примерно 125 не. Структуры вычислительных систем, создаваемых с помощью Raceway, аналогичны тем, которые применяются в случае использо­вания сети Myrinet или коммутаторов и адаптеров SCI. Разница за­ключается в количестве портов коммутаторов, форматах передавае­мых пакетов и в протоколах.

Коммуникационная среда Raceway принята в качестве стандарта (ANSI/VINA 5-1994).