khor32

5.4. Семейство вычислительных систем Connection Machine

Рис. 5.7. 4D-куб:

гиперребро

Очевидны и преобразования 4D-куба в гиперкубы большей размерности. Так, 5D-куб это 2D-куб (квадрат), обрaзованный из вершин, яв-

ляющихся 3D-кубами (обычными кубами), и имеющий гиперребра размер-

ности 8 (рис. 5.8). далее, 6D-куб представляется 3D-кyбoм (обычным кубом)

c вершинами, являющимися также 3 D-кубами, и гиперребрами размерности 8 (рис. 5.9).

Гиперкуб размерности 9 (рис. 5.10) изображается 3D-кубом, в вершинах которого находятся 6Д-кубы, a гиперребра имеют размерность 64.

Структура любой из процессорных подсистем в моделе СМ-1 представляется гиперкубом размерности 10, т. e. 10D-кубом. Следовательно, она может быть изображена в виде двух 9D-кубов, соединенных между собой гиперребром размерности 512.

B гиперкубе диаметр, т. e. максимальное расстояние (из кратчайших) между любыми двумя узлами, равно его размерности. Наращивание (или сокращение) числа узлов в гиперкубе в два раза приводит к увеличению (или уменьшению) длины пути между двумя максимально удаленными узлами только на единицу. Следовательно, ВС c гиперкyбической структурой характеризуются низкой латентностью, т. e. малым средним временем задержки при межузловых обменах информацией. B самом деле, при исполь-

зовании в ВС п-мepнoгo гиперкуба обмен информацией между двумя узла-

ми требует ее прохождения не более чем через (n — 1) тpанзитныx узла.

213

5. Матричные вычислительны системы

Рис. 5.10. 9D-куб

Коммуникационная среда ВС СМ-1. Вычислительные системы семейства СМ имеют развитую программно-нас граиваемую коммуникационную среду, обеспечивающую межпроцессорн ые взаимодействия (именно

это обосновывает название «Connection Machir .e»). В зависимости от типа и

структуры решаемой задачи программируютс я межпроцессорные взаимодействия в системах СМ. Чтобы выразить отно цения между элементарными процессорами, разработчики алгоритмов об ычно используют технику стpуктурирования данных. Например, в систем Ах распознавания образов для представления пикселов обычно используются двумерные решетки из элементарных процессоров (рис. 5.11). Однако н а поздней стадии обработки для представления более абстрактных отнош жий между объектами и их частями могут применяться структуры в виде дерева или реляционные гра-

фы (графы отношений).

Следует заметить, что в последовательы ой ЭВМ, имеющей память c произвольной выборкой, для создания сложных структур данных используется указатель элементов памяти. В архитектурах ВС c массовым параллелизмом элементы данных назначаются на индii видуальные ЭП, a отношения между элементами очень больших структур данных реализуются через межпроцессорные коммуникации.

В коммуникационной среде ВС СМ-1 поддерживаются следующие механизмы.

Широковещательная управляющая сеть (Broadcast Control Network)

обеспечивает в ВС безотлагательный прием оновременно всеми ЭП управ-

ляющей информации, поступающей от устрой яства управления или коммуникационного процессора.

214

5.4. Семейство вычислительных систем Connection Machine

••••

Рис. 5.11. Программирование межпроцессорных связей в ВС семейства СМ

Связь « oбoбщeннoe ИЛИ» (Global OR) осуществляет peaлизaщпo логического HJII'I над значениями переносов в AЛY всех элементарных процессоров;

это дает возможность организовать управление параллельными процессами, произвести их cинпcpoнизaг^пo либо выработать условие окончания вычислений (команда обобщенного условного перехода в BC <dVlинcк-222», разд. 7.3.2).

Гuпepкyбuчecкaя сеть (Hypercube Data Network) является средой для

мapшpyтизaтopoв и многочисленных параллельных примитивов, пoддepжи

моделью виpтyaльнoй машины. Топология сети узловых связей BC-вaeмыx

CM-1 представляется 10D-кyбoм.

Mapшpymuзamop (Router) 16-пpoцeccopнoro кристалла (см. рис. 5.6)

непосредственно осуществляет пepecьикy пакетов сообщений в ЭП. Адреса

процессоров содержатся в указателе (Pointer), указатель следует вместе c

пакетом сообщений. Koнтpoллep мapшpyтизaтopa (реализованный в пpoцeccopнoм кристалле) использует гиперкуб при передаче данных между yзлaми. Эти aппapaтypныe средства обеспечивают частичное совмещение кoммyтaции сообщений c решениями o мapшpyтизaции, c бyфepизaциeй и oбъeдинeниeм сообщений, направляемых по некоторому адресу.

(NEWS Grid) предоставляет прямой доступ из данного ЭП к ближайшим соседям в пределах узла (пpoцeccopнoro кpиcтaллa). Структура узла представляет собой декартову решетку или 2D-решетку (тор) из 16 ЭП, или гиперкуб paзмepнocти 4 (см. разд. 3.1.2, рис. 3.1 и 3.2).

Поскольку при использовании этой сети связей все процессоры передают

информацию в одном и том же направлении (на север — N, восток — E, зaпaд — W или юг — S), a адреса задаются неявно и никаких коллизий не происходит, то она заметно быстрее (примерно в 6 раз), чем сеть для

мapшpyтизaтopoв (мeжyзлoвaя rипepкyбичecкaя сеть).

215

5. Матричные вычислительныЬ? системы

Виртуальная машина ВС СМ-1. Пользователю ВС СМ-1 предоставляется удобный сервис виртуальная машина. Архитектура этой машины

весьма близка к архитектуре физической сис темы Connection Machine и

имеет два существенных расширения: ее набoр параллельных команд (на-

званный Paris Парис) существенно расширен и в ней имеется абстракция

виртуального процессора.

Границами набора команд Paris являются простые логические и арифметические операции и высокоypовневые операции, такие как APL-опера-

ции (APL A Programming Language), сортировка и коммуникационные операции. Функции интерфейса Paris (между к^ )ммуникационным процессо-

ром и остальной частью системы СМ-1) сводятся к формированию потока кодов операций и аргументов. Аргументы это, как правило, начальный адрес и количество бит (разрядность операнда) . B качестве аргумента могут служить непосредственно данные или инфорг 4ация о широковещательном

приеме. Большая часть набора Paris реализова Ка в аппаратyре УУ, где осу-

ществляется синтаксический анализ потока ко, нов операции и аргументов и

его преобразование в соответствующую пос гiедовательность нанокоманд

для ЭП. Поскольку Paris является набором кол/ анд виртyaльной машины, то

вполне допустимо использовать те же самые г мена и для языка ассемблера системы СМ-1.

Виртуальный процессор необходим во многих областях параллельной

обработки данных (так как часто требуются специфические процессоры, которые заметно отличаются от физических ЭП данной системы). Программное обеспечение ВС СМ-1 предостав^ iяет механизм виртуального

процессора, он поддерживается Paris и легко понятен пользователю. При

инициализировании ВС СМ-1 указывается количество виртуальных процессоров, которое необходимо в конкретном применении ВС. B случае, если это количество превышает количество физических ЭП, то локальная память каждого ЭП расщепляется на области, a время процессоров автоматически делится между этими областями.

Например, если необходимо обработать 1 M порций данных, то, естественно, требуется V = 2 20 виртуальных процессоров. Пусть реальное число

физических ЭП равно P = 2 16 и каждый процессор имеет локальную память емкостью 2т бит (для модели СМ-1 m = 12, a для СМ-2 m = 16). Тогда каж-

дый физический ЭП будет поддерживать V / P = 16 виртуальных процессоров.

Отношение V / Р = k нaзывают коэффициентом виртуального процессора. B нашем примере каждый виртуальный процессор имел бы память ем-

костью 2т / k = бит и обрабатывал бы коды c быстpодействием, которое составляло бы всего 1 / k = 1/16 от быст родействия физического ЭП.

Фактически виртуальные процессоры часто iревышают эту скорость вы-

216

5.4. Семейство вычислительных систем Connection Machine

числений; расходы времени на декодирование команд в Уц могут быть уменьшены за счет множества виртуальных процессоров, поддерживаемых одним физическим ЭП.

Программное обеспечение ВС См-1. Основу системного ПО СМ-1

составляет операционная система (Operating System), являющаяся штатной операционной средой (либо UNIX, либо LISP) сервисных процессоров c не-

большим расширением. Пользователям предоставляется возможность применять языки и конструкции всего программного инструментария сервисных процессоров. Кроме того, пользователи могут без особого труда разработать программы, рассчитанные на эксплуатацию всей вычислительной

мощности аппаратуры системы Connection Machine.

Тем не менее следует заметить, что стандартные языки программирования все же имеют некоторые расширения, поддерживающие параллельные конструкции данных. Однако эти расширения не требуют изучения ка- кого-либо нового стиля программирования.

Язык СМ-FORTRAN системы Connection Machine использует расширения (Аггау Extensions) для работы c векторами, матрицами и массивами данных в стандарте FORTRAN 8x (предложенном American National Standards Institute Technical Committee). Эти расширения, естественно, отобра-

жаются в основном параллельном оборудовании системы СМ-1.

Языки *LISP (читается Star LISP) и СМ-LISP являются параллельными диалектами обычного языка LISP (LISP LISt Processing language язык обработки списков). Язык *LISP позволяет программистам высококачественно управлять аппаратурой системы СМ-1. диалект СМ-LISP является языком высокого уровня. Он в отличие от обычного LISP имеет небольшие

синтаксические дополнения в своем интepфeйce, которые и превращают его в язык параллельного программирования.

Язык С* является параллельной версией C. Программы на С * могут быть прочитаны и записаны так же, как последовательные С-пpoгpaммы. Расширения незначительные и легко воспринимаются.

Язык ассемблера (точнее, Paris) системы СМ-1 является объектным (выходным) языком компиляторов языков высокого уровня. Набор команд

Paris логически расширяет набор команд сервисного процессора и маскиру-

ет физическую реализацию системы СМ-1.

5.4.2. Вычислительная система СМ-2

Модель СМ-2 развитая версия СМ-1. При создании СМ-2 пресле-

довали следующие цели:

• обеспечение совместимости c моделью СМ-1;

217

5.Матричные вычислительные системы

•увеличение производительности и емкости памяти;

•повышение общей надежности;

•упрощение производства;

•подключение высокоскоростной системь: ввода-вывода (для внешней памяти и дисплеев).

Процессорный кристалл модели СМ-2 (ьил спроектирован в начале

1986 г., a первый прототип СМ-2 был построепп уже в конце 1986 г. Первые коммерческие поставки ВС были осуществлены осенью 1987 г.

Максимальная конфигурация СМ-2 состояла из 64 K ЭП (4 K вычислительных узлов) и 2 K акселераторов, реализующих операции c плавающей запятой. Такая конфигурация СМ-2 обладала б тстродействием 2500 MIPS и

32 GFLOPS (над 32-разрядными числами) и опративной памятью емкостью

512 Мбайт или 2 Гбайт (c пропускной способнс стью 300 Гбайт/c).

Начиная c 1989 г. Thinking Machines Corp. выпускала модификации

СМ-2А Моде14 и СМ-2А Моде1 8, конфигуриг уемые из 4096 и 8192 ЭП соответственно. Эти модификации обладали рекордным соотношением производительность/стоимость. Если для высокопроизводительных компьютеров имело место среднее соотношение 1 млн опер.,'с за 100 тыс. долл., то в ВС c массовым параллелизмом СМ-2А оно достигагго 1 млн опер./c за 500 долл.

(см. разд. 2.10.2, Е = 5.10 -4 долл./(опер./c)).

Особенности функциональной структуры системы СМ-2. B состав ВС СМ-2 входят параллельное процессорное у лройство (собственно СМ-2), коммуникационные процессоры, система ввод а-вывода (U0 system) и внеш-

няя массовая память данных (Data Vault).

Функциональная структура СМ-2 маштабируемая. Минимальная конфигурация СМ-2 состоит из 2-x ВУ (из 32 элементарных процессоров), a максимальная из 4-х K узлов (из б5 536 ЭП). Структура любой конфигypации СМ-2 обязательно представляется г аперкубом. Следовательно, в СМ-2 могут быть использованы гиперкубы любой размерности от 1 до 12. двенадцатимерный гиперкуб (12D-куб) предсз авляется 3D-кубом, в котором каждая вершина является 9D-кубом (см. рис. `;.10), a гиперребра имеют размерность 512.

Модель СМ-2 это система c програ v:мируемой структурой, следо-

вательно, в «физическом» 12D-кубе могут б iть построены произвольные «виртуальные» конфигурации.

Система ввода-вывода модели СМ-2 содержит восемь контpоллеров, которые обеспечивают скорость обмена инфо )мацией между параллельным процессорным устройством и внешними устройствами, равную 320 Мбайт/с. Полоса пропускания шины ввода-вывода 80 бит (б4 бит для данных,

8 бит для контроля по четкости, 8 бит для управления).

218

5.4. Семейство вычислительных систем Connection Machine

Внешняя массовая память состоит из восьми устройств и обеспечива- ет суммарную емкость 5 или 10 Гбайт и скорость обмена информацией 320 Мбайт/с.

Элементарные процессоры и вычислительные узлы СМ-2. Архитектуры элементарных процессоров моделей СМ-1 и СМ-2 совместимы. Основные особенности ЭП модели СМ-2:

•четыре одноразрядных регистра признаков (вместо восьми);

•акселератор для операций c плавающей запятой, необязательный

(Accelerator ускоритель операций);

•универсальный интерфейс для поддержки п-мерных решеток (вместо двумерных, или NEWS-решеток);

•интерфейс ввода-вывода;

•развитые схемы обнаружения ошибок.

B модели СМ-2 используется четыре (a не два, как в СМ-1) типа кристaллов. Один из кристаллов это специально спроектированный (заказной) процессорный кристалл, содержащий АЛУ, регистры признаков, маршрутизатор, интерфейс п-мерныx решеток и интерфейс ввода-вывода для 16 элементарных процессоров и контроллер для организации гиперкубической сети. Второй кристалл это коммерческая динамическая память c произвольной выборкой, в которой реaлизyются коррекция однобитиых ошибок и обнаружение двухбитных ошибок. Еще два заказных кристалла используются для формирования акселератора, причем один из них реализует собственно операции c плавающей запятой, a другой функции интерфейса. Композиция из последних двух кристаллов рассчитана на подключение к двум процессорным кристаллам (к кластеру из 32 элементарны процессоров). Таким образом, в полной 65536-процессорной конфигурации ВС СМ-2 содержится 4096 процессорных кристаллов, 2048 кристаллов для операций c плавающей запятой, 2048 кристаллов для интерфейса c плавающей запятой и оперативная память емкостью 512 Мбайт.

Bкачестве ВУ выступает конфигурация из 16 ЭП и память емкостью

1Мбит. При этом следует отметить, что два узла имеют связь c акселератором (кристаллом для операций c плавающей запятой и кристаллом интер-

фейса).

Сеть межпроцессорных связей СМ-2. Сеть межпроцессорных связей в модели СМ-2 почти такая же, как в ВС СМ-1, однако в ней имеются две особенности. Во-первых, маршрyтизатор процессорного кристалла СМ-2 обеспечивает связь c 12-ю соседними маршрутизаторами (в пределах структуры). Он более производительный и надежный и поддерживает диагностикy. Во-вторых, в пределах процессорного кристалла (вершины гипер-

219

5. Матричные вычислительны а системы

куба) допускается формирование n-мepныx структур из элементарных процессоров. Последнее позволяет пользователям в зависимости от решаемой

задачи применять для межпроцессорных связей i наиболее адекватные структуры.

5.4.3. Вычислительная система СМ-5

При разработке системы СМ-5 в качестве рабочей была взята парадигма научных вычислений (a не парадигма искусственного интеллекта, как это имело место при создании СМ-1).

Модель СМ-5 результат архитектурного развития семейства СМ и применения более совершенных микропроцес горных БИС. Основной задачей ее создателей было удовлетворение заказа на супервычисления, на решение задач, требующих терафлопсной производительности. Работы по созданию модели СМ-5 были завершены в октябре 1991 г., a через месяц было осуществлено ее анонсирование.

Модель СМ-5 масштабируема; в ее составе может быть от 16 до 16 384 процессорных узлов. Максимальная конфигурация характеризуется

производительностью порядка 1 TFLOPS (101 операций c плавающей запя-

той в секунду), емкостью памяти не менее 512 Гбайт и пропускной способностью не менее 1 Тбит/с для устройств ввода-вывода информации.

Наибольшее распространение получили конфигурации СМ-5 c числом процессорных узлов в диапазоне от 32 д з 1024 (c быстродействием 3...100 GFLOPS и емкостью памяти 1...32 Гба пт).

Особенности архитектуры системы (М-5. В вычислительной системе СМ-5 получила дальнейшее развитие тдея совмещения архитектур

SIMD и MIMD. Система СМ-5 представляется композицией из множества

процессорных узлов и гиперкубической коми уникационной среды. Данная

система масштабируема; варьирование количества процессорныx узлов может бьпь осуществлено в пределах от 16 до 16384, a межyзловой структуры от 4D-куба до 14D-куба.

В свою очередь, множество процессорн ых узлов образуется из под-

множеств управляющих (control) и вычислительных (computational) процес-

соров. Такая композиция средств позволяет в пределах СМ-5 выделять под-

системы (Partitions) c архитектурой SIMD, в каждой из которых имеется

управляющий узел-процессор и подмножество вычислительных узловпроцессоров, взаимодействующих между соЕ ;ой через коммуникационную среду. Эти подсистемы масштабируемы и спо юбны функционировать асинхронно. Количество SIMD-подсистем определяется числом управляющих

узлов (называемых также менеджерами подсистем Partition Managers).

220

5.4. Семейство вычислительных систем Connection Machine

Ясно, что композиция SIMD-подсистем и есть реализация возможностей

MIMD-архитектypы.

Более детальное рассмотрение системы СМ-5 позволяет сделать зактлочение o том, что ее архитектура сочетает в себе достоинства параллельновекгорньх (РVР) и массово-параллельньх (МРР) арxитeктyp (см. § 4.3 и 4.5).

СистемаСМ-5имеетраспределеннуюоперативнуюпамять.

Управляющий и вычислительный узлы ВС СМ- 5. Управляющий узел в модели СМ-5 предназначен для реализации функций операционной системы, в частности, он обрабатывает запросы c устройств ввода-вывода, управляeт решением задач на множестве ВУ и межузловьпми обменами информацией.

Функциональные структуры управляющих и вычислительных узлов почти иденти кы. B состав каждого из этих узлов обязательно входят микропроцecсор и локальная память (в управляющем она имеет больший объем). B модели СМ-5 и управляюц, и вьстдительныпй узлы (рис. 5.12) формируются на базе 64-разрядного АISС-м-псропроцессора (именно SРААС-микропроцессора

фирмы SUN Microsystems). Ясно, что управляющий узел может вьптолнять и

вычислительные функции.

Минимальная конфигурация ВУ состоит из средств для межузловых взаимодействий, SРААС-процессора и локальной памяти емкостью 32 Мбайт

(см. рис. 5.12). B расширенных конфигурациях узла дополнительно может

быть до четырех векторных процессоров (ВП) типа Cray (см. § 4.3). Каждый из ВП имеет 128 32-разрядных регистров. Все ВП имеют прямой доступ к локальной памяти через свои порты. Порт каждого ВП обладает пропускной способностью 0,5 Гбайт/с и подключен к 64-разрядной шине. Максимальная

конфигурация узла обеспечивает производительность 128 MFLOPS при

64-разрядной точности.

B состав управляющего узла СМ-5 обязательно входит интерфейс ввода-вывода (см. рис. 5.12). Реально, в качестве этого узла используется

рабочая станция SUN SPARCstation.

SРААС-процессор

Основная шина

Рис. 5.12. Функциональная структура процессорного узла СМ-5:

ВП — векторный процессор

221

5.Матричные вычислительныe системы

Вмодели СМ-5 в качестве базового используется массово выпускае-

мый микропроцессор, a не заказной одноразря дный (Custom-built Bit-serial Processor).

Коммуникационная среда ВС СМ-5. :3заимодействия между процессорными узлами (и управляющими, и вычислительными) в системе СМ-5 осуществляются через коммуникационную срс ду. Эта среда в СМ-5 представлена тремя сетями: для управления, для передачи данных и для диагностики ВС. По первой сети передается управл: ^ющая информация, которая инициирует выполнение в системе глобальны действий, таких, например,

как прерывание и синхронизация или реализация трансляции (Broadcasting)

информации из управляющего узла во все вычи слительные узлы (в пределах подсистемы). По второй сети осуществляются обмены данными между вычислительными узлами при их параллельной работе в SIMD-подсистеме. Сеть передачи данных СМ-5 обеспечивает об: viен информацией между соседними узлами со скоростью до 20 Мбайт/с. Г [ередача информации по сети управления и сети передачи данных осуществля ется 64-разрядными словами (по 64-разрядным шинам). Диагностическая с еть используется только при системном администрировании и скрыта от поль: сователеи.

Программное обеспечение ВС СМ-5. Модель ВС СМ-5 работает под управлением распределенной операционной с :Астемы (ОС), которая позволяет нескольким пользователям работать на ре,;урсах ВС СМ-5 одновременно (или даже ее подсистемы, но в режиме р, азделения времени). Каждый пользовательский процесс может исполняты^я только на одной SIMDподсистеме и ему предоставляется доступ ко всем ресурсам этой подсистемы. Процессы, реализующиеся на различных подсистемах, могут взаимодействовать друг c другом.

B модели СМ-5 используется ОС СМО ВТ. Это расширенная версия

ОС UNIX (UNIX многопользовательская N гногозадачная ОС; считается,

что она менее компьютерно-зависима, чем остальные ОС). Операционная система СМО Т относится к распределенным, в каждом ВУ модели СМ-5

размещается и исполняется только микроядро (Microkernel), для чего в узле

необходимо 5 Мбайт локальной памяти. Все остальные компоненты СМО^Т находятся и реализуются в каждом из управля ющих узлов (в каждой SIMDподсистеме) модели СМ-5.

Средства параллельного программирования СМ-5 представлены ком-

пиляторами для ЯЗЫКОВ СМ FORTRAN (под обного FORTRAN 90), С * и *LISP (соответственно языков C и LISP c расе гтирениями для параллельных вычислений; LISP LISt Processing language -- язык обработки списков).

Компиляторы реализуются специальным сервером (Front-end Compile server). Компилирyющий сервер построен на пазе SРААС-микропроцессора. B состав программного обеспечения входит также пакет диагностический тестов..

222