13.2. Организация коммуникационных сред

Выбор коммуникационной среды (так называемого интерконнекта), обеспечивающей основную информационную связь между вычислительными элементами МВК, определяется многими факторами: особенностями решаемых задач, требуемой производительностью вычислений, экономическими соображениями, вопросами масштабируемости и т.п. Наиболее доступными и компромисными типами коммуникационной среды являются сети на основе технологий Fast Ethernet и Gigabit Ethernet. Высокоскоростное сетевое соединение Gigabit Ethernet обеспечивает пропускную способность на уровне наиболее распространенного и производительного протокола передачи сообщений, применяемого в МВК, – интерфейса MPI (Message-Passing Interfase – интерфейс передачи сообщений) – около 70 Мбайт/с и задержку (промежуток времени между отправкой и получением пакета данных) примерно 50 мкс. Такие характеристики вполне приемлемы при решении задач, не требующих интенсивных обменов данными (например, визуализация трехмерных сцен или обработка геофизических данных). Однако для решения более сложных задач, особенно расчета процессов в реальном режиме времени, этих значений параметров быстродействия обмена данными становится не достаточно. В таких случаях находят применение специально разработанные для МВК технологии интерконнекта SCI, Myrinet, QsNet, InfiniBand и др.

Коммуникационная среда SCI (Scalable Coherent Interface – масштабируемый когерентный интерфейс) обеспечивает построение масштабируемой коммуникационной среды для объединения процессоров и модулей памяти, создания распределенной сети рабочих станций, организации ввода/вывода суперкомпьютеров и высокопро­изводительных серверов.

Каждый отдельный вычислительный модуль МВК (обычно называемый узлом), соединяемый с другими узлами коммуникационной средой на базе SCI, имеет входной и выходной каналы (соединения, для наименования которых используется достаточно распространенный в профессиональной среде термин – «линк»). Узлы связаны однона­правленными каналами «точка-точка» либо с соседним узлом, либо подключены к коммутатору. При объединении узлов должна обязательно формироваться цикличес­кая магистраль (кольцо) из узлов, соединенных каналами «точка-точка» между вход­ным и выходным каналами каждого узла. Один узел в кольце, называемый «чистиль­щик» (scrubber), выполняет функции инициализации узлов кольца с установлением адресов, управления таймерами, уничтожения пакетов, которые не нашли адресата. Этот узел помечает проходящие через него пакеты и уничтожает уже помеченные пакеты. В кольце может быть только один чистильщик. Возможно построение многокольцевых систем, связанных через агентов. Агент-коммутатор или агент-мост обеспечивают соединение между разными кольцами или между кольцом и коммутационной средой с другим протоколом, например, шинами PCI. Посредством SCI могут быть реализованы различные структуры межсо­единений.

Возможности, функционально эквивалентные тем, что предоставляются при вза­имодействии устройств на шине, реализуются путем образования однонаправленной магистрали между узлами, состоящей из цепочки соединений «точка-точка» меж­ду узлами и коммутаторами межузловых соединений. Однонаправленность пере­дач в SCI имеет принципиальный характер, так как исключает переключение выход­ных ножек микросхем с передачи на прием и обратно. Такое переключение создает большие электрические помехи. Таким образом, вместо физической шины использу­ется множество парных соединений, обеспечивающих высокую скорость передачи. Вследствие этого преодолеваются, во-первых, фундаментальное ограничение шин – одна передача в каждый промежуток времени предоставления шины передающему устройству, а, во-вторых, ограни­чения, связанные со скоростью распространения сигналов по проводникам (в случае асинхронных шин такое ограничение обусловлено временем передачи сигналов «запрос-подтверждение», а в случае синхронных шин – разницей между временем распространения тактового сигнала от его генератора и временем распространения данных от передающего устройства).

Связи между узлами SCI реализуются как 18 пар проводов, несущих дифференциальные электрические сигналы с передачей информации по переднему и заднему фронту на частоте 250 МГц. SCI ис­пользует 16-битную магистраль данных, а также одну сигнальную линию для пере­дачи тактового сигнала и еще одну сигнальную линию для передачи флагового бита. Информационный обмен между узлами SCI, реализуемый посредством транзак­ций, включает помимо обычных для шинных структур транзакций «чтения» и «записи» средства синхронизации: замки (lock), поддержку когерентности строк кэш-памяти и основ­ной памяти, передачу сообщений и сигналов прерываний. Все транзакции пересыла­ют SCI пакеты между узлом-источником и узлом-получателем. Транзакции предусматривают передачу пакетов с блоками данных фиксированной длины 64 и 256 бай­тов, а также переменной длины 1–16 байтов. Форматы транзакций не зависят от топологии. Фиксированная длина пакетов упрощает логику и увеличивает быстродействие интерфейсных схем.

В SCI реализуется 64-разрядная архитектура с 64-битным адресным пространс­твом. Старшие 16 битов задают адрес узла и используются для маршрутизации SCI пакетов между узлами системы. Остальные 48 битов – адресация внутренней памя­ти узла. SCI ориентирован на поддержку строк размером 64 байта. Другие размеры строк автоматически поддерживаются в многоуровневых блоках кэш-памяти.

Узлы SCI должны отсылать сформированные в них пакеты, возможно, с одновре­менным приемом других пакетов, адресованных узлу, и пропуском через узел тран­зитных пакетов. Для транзитных пакетов, при­бывающих во время передачи узлом собственного пакета, предусмотрена проходная очередь. При дисциплине, когда собственный пакет не передается до тех пор, пока есть транзитные, необходимая длина проходной очереди определяется длиной передаваемых узлами пакетов. Размер проходной очереди должен быть достаточен для приема пакетов без переполнения. В узле вводятся также входная и выходная очереди для пакетов, соответственно, принимае­мых и передаваемых узлом.

Узел SCI принимает поток данных и передает другой поток данных. Эти потоки состоят из SCI пакетов и свободных (пустых) символов. Через каналы непре­рывно передаются либо символы пакетов, либо свободные символы, которые запол­няют интервалы между пакетами. В случае, если передавать нечего и проходная очередь узла пуста, он передает на выход свободный символ.

Интерконнект SCI обеспечивает пропускную способность на уровне MPI от 200 до 325 Мбайт/с и задержку менее 3 мкс.

Первое поколение коммуникационной среды Myrinet было разработано фирмой Myricom в 1994 году. В настоящее время актуально третье поколение этого интерконнекта – Myrinet 2000.

Среда Myrinet стандартизует формат пакета, способ адресации ВМ, набор управля­ющих символов протокола передачи пакетов. Коммуникационная среда образуется адаптерами «шина компьютера – линк сети» и коммутаторами линков сети. Каждый линк содержит пару однонаправленных каналов, образуя дуплексный канал. Стандарт Myrinet предусматривает два основ­ных типа коммуникационных сред: SAN (System-Area Network – системная сеть) и LAN (Local-Area Network – локальная сеть). Эти среды различаются протоколами физического уровня. Среда SAN, предназначенная для объединения плат внутри стойки, имеет общее заземление и использует для передачи однофазные сигналы. В отличие от SAN среда LAN при­меняется для объединения ВМ, разнесенных в пространстве, например, по стойкам, расположенным на разных этажах здания. Среда LAN использует для передачи дан­ных парафазные сигналы.

Линк коммуникационной среды SAN состоит из 20 проводников, по десять для образования каждого из противоположно направленных каналов. Канал имеет 8 линий для передачи байта данных, одну линию для передачи специального сигнала D «данные/управление» (D = 1 – данные, D = 0 – управление), одну линию, направленную противоположно предыдущим девяти, для передачи специального сигна­ла В блокирования передачи от приемника (B = 1 – STOP, B = 0 – GO). Получатель функционирует асинхронно и может принять символ, когда тот по­явится.

Линк коммуникационной среды LAN состоит из 18 витых пар проводников, по девять для образования каждого из противоположно направленных каналов. Канал имеет следующие линии: 8 линий для передачи байта данных, одну линию для передачи специального сигнала D «данные/управление» (D = 1 – данные, D = 0 – управление). Передача сигналов парафазная.

Коммуникационная среда Myrinet обеспечивает пропускную способность на уровне MPI до 250 Мбайт/с с задержкой 7 мкс, а в новое программное обеспечение этой среды позволяет сократить задержку в два раза.

Коммуникационная среда QsNet разрабатывалась специально для построения па­раллельных систем из серийных микропроцессоров. Среда QsNet формируется из адаптеров «шина РСI – линк QsNet» и коммутаторов. Между парой адаптеров может быть установлено как прямое соединение кабелем «адаптер-адаптер», так и коммутируемое через ком­мутаторы. Структуры систем, построенных с использованием QsNet, не отличаются от структур, созданных на базе среды Myrinet. Линк QsNet – 2 противоположно направленных канала, каждый шириной по 10 бит.

QsNet – достаточно производительное и дорогое оборудование, обеспечивающее пропускную способность до 900 Мбайт/с и задержку менее 2 мкс.

На сегодняшний день наиболее перспективна технология коммуникационной среды InfiniBand. Архитектура InfiniBand предлагается как комплексное решение многих про­блем: увеличения пропускной способности интерфейса ввода-вывода высокопроизводительных ВМ серверов, создания эффективных универсальных коммуника­ционных сред для МВК, локальных и глобальных сетей. Эта архитектура вобрала в себя множество апробированных идей, часть из кото­рых использована в выше рассмотренных технологиях коммуникационных сред. Однако именно комплексность и новизна служат источником больших затрат на пути практического использования архитектуры InfiniBand.

InfiniBand представляет собой архитектуру сетей SAN для объединения в систему множества независимых узлов – процес­сорных платформ, платформ ввода-вывода и уст­ройств ввода-вывода. InfiniBand может использоваться как в небольших системах с одним процессором и несколькими устройствами ввода-вывода, так и в массово-парал­лельных системах с сотнями процессоров и тысячами устройств ввода-вывода. На основе InfiniBand создается коммуникационная среда, позволяющая многим устройс­твам устанавливать одновременные соединения с высокой пропускной способностью и малой задержкой при безопасном удаленном управлении. Устройства могут взаимодейс­твовать через множество портов, а также использовать совокупность различных путей через коммуникационную среду, что позволяет повысить отказоустойчивость и пропус­кную способность. Архитектура InfiniBand описывает передачу данных и управляющую инфраструкту­ру как для поддержки операций ввода-вывода, так и для межпроцессорных ком­муникаций. Межсетевой протокол входит составной частью в InfiniBand, что позволяет применять его как мост между системами с InfiniBand и вычислительными сетями или удаленными ВМ.

Важнейшими компонентами сетей InfiniBand являются так называемые канальные адаптеры. Канальный адаптер служит устройством, которое соеди­няет узел с коммуникационной средой. Канальный адаптер для процессорно­го узла называется процессорным адаптером, а для узла ввода-вывода – исполнительным адаптером. При коммуникации между узлами канальные адаптеры создают пакеты из сфор­мированных в узлах сообщений. Пакеты служат информационным блоком, передава­емым через коммуникационную среду. Коммутаторы и маршрутизаторы только продвигают пакет между узлами от узла-источника до узла-получателя. Канальный адаптер узла-получателя собирает сообщения из поступивших пакетов и передает эти сообщения в память узла-получателя.

Каждый адаптер имеет уникальный глобальный идентификатор, присва­иваемый производителем адаптера. Адаптер может иметь несколько портов для под­соединения линков коммуникационной среды. Каждый порт также имеет глобаль­ный идентификатор, присваиваемый производителем. При инициализации сети InfiniBand менеджером подсети каждому порту адаптера приписывается локальный идентификатор или диа­пазон локальных идентификаторов.

Текущая реализация InfiniBand имеет пропускную способность на уровне MPI до 1900 Мбайт/с и время задержки от 3 до 7 мкс. Компанией PathScale разработан высокоскоростной адаптер, который реализует стандартные коммутаторы и кабельную структуру InfiniBand, используя собственный транспортный протокол. Это позволило снизить время задержки до величины 1,3 мкс.