khor32

5. б. Анализ матричных вычислительных систем

кристалла-узла, причем число ЭП в нем соответствовало текущему уровню технологии БИС. Более того, при эволюционном развитии архитектуры ВС такие двумерные решетки претерпели трансформацию в более совершенные

п-мерные (например, это имело место при переходе от модели СМ-1 к СМ-2). Процессорные кристаллы брались в качестве функционально-кон- структивных элементов, a сама система формировалась как композиция множества кристаллов и сети связей между ними. Технология БИС и техника конструирования систем уже позволила формировать из таких кристаллов гиперкубы.

Таким образом, программируемые структуры сетей межпроцессорных связей позволяют ВС адаптироваться под области применения и структуры решаемых задач, они делают локальную оперативную память любого ЭП общедоступной для других ЭП системы.

З. Однородность состава u структуры ВС видна на всех функцио-

нальных уровнях. На макpоypовне однородность выражена тем, что все

матричные процессоры (или квадранты в ILLIAC-IV, или подсистемы в модел х СМ) и устройства управления, входящие в них, одинаковы. На микроуровне однородность ВС достигнута за счет применения множества идеи тичных элементарных процессоров.

Сети межпроцессорных связей в матpичныx ВС однородные это и двумерные решетки, и гиперкубы. Однородность проявляется и в конструкции матричных ВС, они формируются из конструктивно однотипны элементарных процессоров или процессорных кристаллов-узлов.

Архитектура матричнъх ВС не лишена существенны недостатков. Так, единственное устройство управления в квадранте или подсистеме резко снижает надежность и живучесть, a также производительность при мультипрогpаммной работе и, следовательно, ограничивает сферу применен я матричныx ВС. Эти недостатки и сравнительно небольшие экономические преимущества, полученные за счет общего устройства управления в матричном

пенно отходить от принятой ими архитектурной концепции и переходить к

сформулированной в Сибирском отделении РАН модели коллектива вычис-

лителей [5]. Кардинальным шагом стало введение в функциональную струк-

тypу матричной ВС множества устройств управления (управляющих узлов,

см. разд. 5.4.3). Очевиден и предельный вариант развития функциональной

структуры ВС, он предопределяет каждому ЭП свое устройство управления

(см. разд. 5.5.2). Это и является констатацией o полном переходе к модели коллектива вычислителеи.

B заключение следует подчеркнуть, что современные высокопроизво-

дительные ВС являются «симбиозом» архитектур. Действительно, на макроуровне модели семейства СМ являются ничем иным, как MIMD-систе-

233

6. Мультипроцессорные вычислите. гьные системы

Рис. б.1. Каноническая функциональная струе стура мультипроцессора: ЭП — элементарный процессор; МП — модуль па пяти; КЭШ — кэш-память

цессоров ЭП 1—ЭП,» обычно n < m. Взаимодействие между ЭП осуществляется не через коммутатор, a через общую память. Все ЭП, как правило, идентичны.

Коммутатор может быть сосредоточенным или распределенным. B последнем случае он представляется композицией из локальных коммутаторов, каждый из которых находится во взаимi-:о однозначном соответствии либо c ЭП, либо c модулем памяти.

B мультипроцессорах вместо коммутатсра, обеспечивающего доступ ЭП к общей памяти, можно использовать шин y или иерархическую композицию шин.

B теоретических исследованиях параллсльных алгоритмов часто используется идеализированный мультипроцессор РААМ-модель (Рага11е1

Random Access Machine парaллельнaя машина c произвольным доступом к

памяти). Допускается, что в РААМ-модели любой ЭП может обращаться к любой ячейке общей памяти за одно и то же время. На практике же это далеко не так. Необходимость масштабирования мулы типроцессора однозначно приводит к иерархии памяти, т. e. к организации я эш (Cache) сверхоператив-

ной «надстройки» памяти. Кэш-память предн, означена для хранения копий часто используемых данных, она сокращает частоту обращения ЭП к общей

памяти. доступ ЭП к кэш-памяти осуществлв :ется намного быстрее, чем к общей памяти мультипроцессора. Следовательно, введение кэш-памяти повышаeт эффективность мультипроцессора. Ка к и коммyтатор, кэш-пaмять мультипроцессора может быть распределенной (см. рис. 6.1).

Средства обработки информации, основ нные на мультипроцессоре c канонической функциональной структypой, н взывают ВС c общей (разделяемом) памятью (тгие Shared Метогу).

B первых мультипроцессорных ВС (60-ф и 70-e годы ХХ в.) число n ЭП достигало десяти. Современные мультипроцессорные ВС представляют

236

6.2. Вычислительная система С.ттр

собой системы c массовым параллелизмом (МРР Systems, Massively Рага11е1 Processing Systems); количество ЭП в них составляет 10-105

достаточно обцпирные экспериментальные исследован-поя в области мультятроцессорньх систем были вьпюлнены в 70-x годах ХХ в. в цниверситете

Карнеги-Меллона (Carnegie-Mellon University, США). Исследователи прошли

путь от канонической структуры мультилроцессора до распределенных ВС и

убедились в перспективности последних. Они независимо от результатов исследований, выполненных в СССР, дали тех ико-эконолтческое обоснование

нашей отечественной концепции распределенных ВС.

Значительные достижения по развитию ВТ принадлежат научной школе по многопроцессорным системам со структурно-процедурной организацией вычислений Таганрогского государственного технического университета.

Большой вклад в архитектуру и практику мультипроцессорных

ВС сделан Институтом точной механики и вычислительной техники

им. C.A. Лебедева АН СССР и Burroughs Corp.

6.2. Вычислительная система сшшр

Вычислительная система С.ттр (Carnegie-Мellon Multi-Processor) бы-

ла создана в университете Карнеги-Меллона (США). Работы в области архитектypы мультипроцессорных ВС, начатые университетом в 1970 г., преследовaли такие общие цели * [б] :

1) достижение высокой производительности (большой полосы пропускания канала «процессор память»);

2)проведение экспериментальных исследований по эффективности параллельной обработки данных;

3)экспериментальное изучение и обеспечение надежности;

4)достижение приемлемых технико-экономических показателей;

5)воплощение принципа максимального использования аппаратурнопрограммньх средств мини-ЭВМ.

Последний принцип позволил:

•свести разработку системы к работам по созданию лишь системны компонентов, тем самым не расходовать материальных ресурсов на проектирование и изготовление процессоров, памяти и устройств ввода-вывода информации;

* Исследование систем С.ттр, Ст * и С.итр. I. Опыт обеспечения отказо-

уСтойчивости в мультипроцессорных системах / Д.П. Северек, В. Кипи, X. Мешберн и др. // ТИИЭР. 1978. T. 66. N2 10. C. 89-117.

237

б.Мультипроцессорные вычислите. iьные системы

•использовать ПО (в частности, контрольп ю-диагностические программы) серийной аппаратуры;

•достичь большей надежности в работе В С как совокупности взаимосвязанных модулей обработки и хранения инфс рмации (благодаря их массовому производству).

6.2.1. Функциональная структура мини-ВС С.ттр

Вычислительная система С.ттр прима, лежала к мини-машинным, т. e. мини-ВС, и формировалась из средств мини-ЭВМ. Из-за высокой стоимости мини-ЭВМ 1970-x годов была выбрана достаточно простая функционaльная структура системы (рис. 6.2), a проблема поддержки ее надежности была решена программными средствами. Систем iа состояла из 16 ЭП, общей памяти и матричного коммутатора. B состав ЭП (мини-ЭВМ корпорации

DEC, Digital Equipment Corp .) входили незначительно модифицированный

процессор PDP-11 /40, локальная (или местная, или индивидуальная) память, блок отображения адреса (который преобразоi.ывал генерировавшиеся про-

цессором 18-разрядные адреса в 25-разрядны . физические адреса) и контроллер межпроцессорного интерфейса (который обеспечивал подключение процессора к межпроцессорной шине). Кроме указанных компонентов в состав ЭП могли входить память на магнитных дисках, страничная память на дисках, внешние устройства и др. Матричный коммутатор 16 x 16 позволял установить связь между любым процессорол% ЭП и любым портом МП; (i, j Е {1, 2, ..., 16}) памяти общего доступа.

Межпроцессорная шина

Мп1

МП;

МП16

Матричный коммутатор

Рис. б.2. Функциональная структура системы С.ттр:

ЭП - элементарный процессор; МП - Ь модуль памяти

238

6.2.Вычислительная система Сттр

6.2.2.Анализ надежности мини-ВС С.ттр

Простота процесса построения вероятностных моделей для мини-ВС С.ттр и их исследования обусловлена принципом однородности модулей

(ЭП и модулей памяти). Легко заметить, что нет каких-либо принципиальных трудностей в представлении системы С.ттр в виде модели ВС со

структурным резервом и c восстановлением. Однако исследователи из Университета Карнеги Меллона ограничились изучением модели ВС c резервом, но без восстановления. B рамках этой простейшей модели предполагалось, что восстановление начинается только после того, как отказ очередно- го модуля приводит к отказу системы в целом. Говоря иначе, считалось, что ВС исправно работает при отказах ЭП и модулей памяти вплоть до истощения резервных ресурсов.

При использовании такой модели ВС (c резервом и c отказами) считается, что вероятность безотказной работы в течение времени t любой подсистемы (любого подмножества) из N идентичных модулей равна

N-n

мaя подсистема устойчива к (N — n) отказам модулей).

Реальная ВС С.ттр содержала несколько подсистем одинаковых модулей (процессоров, модулей локальной памяти для каждого процессора, модулей памяти общего доступа для каждого из портов, блоков отображения, контроллеров межмашинного интерфейса и др.) и единственный коммутатор. Эти структурные особенности требуют преобразован формулы (6.1), которые заметно усложняют счет. Надежность ВС С.гптр существенно определял способ организации коммутатора. При этом разработчиками системы использовались две модели коммутатора. B простейшем случае (сосредоточенньiй коммутатор) коммутатор рассматривался как единый элемент, выход которого из строя вызывал отказ всей системы. Вторая модель

(распределенный коммутатор) отражала потенциальные возможности

структуры коммутатора (далеко не все отказы коммутатора приводили к от-

казу системы).

Из анализа значений функции R(t) (6.1) было установлено, что для задач, требующих исправности восьми процессоров, отношение интервала

времени, в течение которого вероятность безотказной работы ВС С.ттр при использовании распределенной модели коммутатора превышает уро-

239

6. Мультипроцессорные вычислите. тьные системы

вень 0,9, к соответствующему интервалу для сосредоточенной модели коммyтатора составляет 2700:350, или примерно '7,7. Таким образом, даже не выходя из рамок сформулированных модел ,й, анализ надежности ВС С.ттр показал, что сосредоточенный комму гатор является критическим источником отказов в мини-ВС.

Система С.ттр и при отсутствии средств восстановления обладала надежностью, допускавшей решение сложны) . задач (при этом резерв не превышал 25 % общего числа процессоров в системе). Дальнейшее повышение надежности ВС С.ттр могло быть обеспчено повышением надежности компонентов и (или) применением средств восстановления.

Информация o надежности ВС С.ттр была получена на основе статистики, не учитывающей перемежающихся отказов (сбоев) модулей системы. B реальных условиях их следовало учитывать. Согласно статистическим данным, среднее время безотказной работы системы в целом (и без резерва) составляет всего лишь 9,2 ч, a среднее время е е восстановления немного более 5 мин.

6.2.3.Недостатки архитектуры лiини-ВС С.ттр

1.Сосредоточенный коммутатор в мини.ВС С.ттр являлся критическим источником отказов. Как показали исслi дования, вероятность безот-

казной работы системы резко убывает на начальном участке времени. Это нейтрализует увеличение надежности мини-ВС за счет введения резерва ЭП и модулей памяти. B то же время, если испол: -)зовать распределенный коммyтатор, то будет достигнуто повышение надо ^жности мини-ВС (благодаря резерву процессоров и модулей памяти).

2. Существуют границы для количества езервных модулей. Увеличение количества резервных модулей сверх этих границ практически не улучшает надежности систем. Так, в мини-ВС С.ттр такой границей для числа процессоров является

3.Заметное повышение надежности мини-ВС обеспечивается применением высоконадежных компонентов. Однако такой путь имеет свои физические и технические пределы.

4.Кардинальный путь повышения надежности ВС состоит не в увеличении надежности компонентов, a в применении перспективных архитек-

тypных и структурных решений, новых принцvпов обработки информации.

Перспективными представляются архитектуры, которые допускают автоматическое изменение (точнее, программирование) структуры и параметров ВС c целью установления такого с оотношения между производительностью и надежностью, которое наи15олее адекватно сфере при -

менения.

240

6.3. Семейство вычислительных систем Burroughs

Таким образом, принципиальным недостатком структуры мини - ВС

С.ттр является матричный коммутатор, выход которого из строя приводит

к отказу системы как единого ансамбля модулей. Архитектура ВС c общим коммутатором в современных условиях представляется неперспективной.

Распределенный (a не сосредоточенный) кол цутатор должен стать средст -

вом обеспечения взаимодействий между элементарными процессорами в ВС.

6.3. Семейство вычислительных систем Burroughs

Фирма «Бэрроиз» (Burroughs Corp.) в 1961 г. начала работы по созда-

нию своего семейства многопроцессорных ВС. В 1963 г. была выпущена первая ВС В 5000, a в 1964 г. ее модификация В 5500; в 1969 г. была создана

В 6500, в 1971 г. В 6700 и, наконец, в 1973 г. В 7700.

B этих ВС нашли воплощение новые архитектурные и структурные

решения, которые радикально отличались от концептуальных решений ЭВМ дж. фон Неймана. Так, например, даже в ВС В 5000 было реализовано сле-

дyющее:

•«ручная» реконфигypируемость состава (в ВС могло быть один или два центральных процессора и до восьми модулей оперативной памяти);

•механизм виртуальной памяти;

•а шаратурная реализация функций, вьпютпи вшихся ранее программно;

• языки высокого уровня ALGOL 60 и COBOL.

В семействе ВС Burroughs, начиная c B 5500, воплощена концепция

виртуальной машины.

Архитектура ВС семейства Burroughs относится к типу МIМD Рз].

6.3.1. Вычислительная система B 6700

Вычислительная система B 6700 (1971 r.) — это композиция (см. рис. 6.1 и 6.3) ЭП, модулей памяти, коммутатора и периферийного oбo-

pyдoвaния (процессоров передачи данных, каналов, кoнтpoллepoв и др.).

Пoдмнoжecтвo Э составляли 1-3 центральных процессоров и 1-3 пpoцec- соров ввода-вывода.

Центральный процессор (ЦП) системы B 6700 обладал быcтpoдeйcт-

виeм порядка 1 млн oпep./c (над 48-разрядными числами). Оперативная пa-

мять состояла из 1-64 модулей (МП), обладала емкостью до 6 Mбaйт и имe-

241

6. Мультипроцессорные вычислите 'ьные системы

МП 1

МП 2

МП64

ППД пПД

Рис. б.3. Функциональная структура ВС B 6700:

ЦП - центральный процессор; ПВВ - процессор ввода вывода; ККД - канал коммутации данных; КВВ - контроллер ввода-вывода; ППД - прои ессор передачи данных; МП - мо-

дуль памяти

ла шесть входов. Для формирования памяти использовались модули емкостью б K или 64 K слов, цикл обращения к модулю (в зависимости от его типа) был равен 1,5 или 1,2 мкс, или 500 нс. Скорость обмена информацией между процессорами (центральными и/или ввода-вывода) и оперативной памятью по любому из шести входов составляла 6750 K байт/c.

Процессоры ввода-вывода (ПВВ) предназначались для подключения периферийного оборудования, в каждом из процессоров имелось 4-12 каналов коммутации данных (ККД). Три процессора ввода-вывода могли одновременно выполнять до 36 операций вводавы .ода. K каждому каналу могло подключаться до 20 контpоллеров ввода-вывода (КВВ), a к каждому контроллеру до 10 периферийных устройств. Максимальное количество адресуемых периферийных устройств составляло 128, среди этих устройств имелись запоминающие устройства на магния •ных лентах и дисках, графо- построители, алфавитно-цифровые печатающие устройства, перфокартные и другие устройства.

Каждый ПВВ был соединен c 1-4 процессорами передачи данных (ППД), каждый из которых был связан c 1-16 группами адаптеров, a каждая из них, в свою очередь, соединялась 1-16 линиями связи.

242