Глава 15

ПРИНЦИПЫ ОРГАНИЗАЦИИ МНОГОПРОЦЕССОРНЫХ И МНОГОМАШИННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ (КОМПЛЕКСОВ) И СУПЕРЭВМ

1. Понятие о многомашинных и многопроцессорных вычислительных системах и комплексах

Вычислительная техника в своем развитии по пути повы­шения быстродействия ЭВМ приблизилась к физическим преде­лам. Время переключения электронных схем достигло долей наносекунды, а скорость распространения сигналов в линиях, связывающих элементы и узлы машины, ограничена значением 30 см/нс (скорость света). Поэтому дальнейшее уменьшение времени переключения электронных схем не позволит су­щественно повысить производительность ЭВМ. В этих условиях требования практики (сложные физико-технические расчеты, автоматизированное проектирование сложных объектов, много­мерные экономико-математические модели и другие задачи) по дальнейшему повышению быстродействия ЭВМ могут быть Удовлетворены только путем распространения принципа парал­лелизма на сами устройства обработки информации и создания многомашинных и многопроцессорных (мультипроцессорных) вычислительных систем. Такие системы позволяют производить распараллеливание во времени выполнения программы или па­раллельное выполнение нескольких программ.

В настоящее время исключительно важное значение при­обрела проблема обеспечения высокой надежности и готовности вычислительных систем, работающих в составе различных авто­матизированных систем обработки данных и управления, осо­бенно при работе в режиме реального времени. Эта проблема решается на основе использования принципа избыточности, ко­торый ориентирует также на построение многомашинных или многопроцессорных систем (комплексов). Появление дешевых и небольших по размерам микропроцессоров и микроЭВМ облег­чило построение и расширило область применения многопро­цессорных и многомашинных ВС разного назначения.

Различие понятий многомашинной и многопроцессорной ВС поясняет рис. 15.1. Многомашинная ВС (ММС) содержит не­сколько ЭВМ, каждая из которых имеет свою ОП и работает под управлением своей операционной системы, а также средства обмена информацией между машинами. Реализация обмена ин­формацией происходит в конечном счете путем взаимодействия операционных систем машин между собой. Это ухудшает дина­мические характеристики процессов межмашинного обмена дан­ными. Применение многомашинных систем позволяет повысить надежность вычислительных установок. При отказе в одной машине обработку данных может продолжать другая машина. Однако можно заметить, что при этом оборудование комплекса недостаточно эффективно используется для этой цели. Достаточ­но в системе, изображенной на рис. 15.1, а, в каждой ЭВМ вый­ти из строя по одному устройству (даже разных типов), как вся система становится неработоспособной.

^Операционные системы^. rJ ‘Т	Г Операционная система
| Процессор |*->| Процессор |	1 —VI II У 1 Процессоры \
lit:		: t ..
1 « 1 1 ** j	| | йбиуее 'поле Orit | |
1 J
Каналы Каналы	| Каналы j
_ t
1 ВЗУ | | ВЗУ |	| | Общее поле’ВЗУ | |

ЭВМI _а) ЭВМЖ 0)

Рис. 15.1. К сопоставлению многомашинной (а) и многопроцессорной (б) систем

Этих недостатков лишены многопроцессорные системы (МПС). В таких системах (рис. 15.1,6) процессоры обретают статус рядовых агрегатов вычислительной системы, которые подобно другим агрегатам, таким, как модули памяти, каналы, периферийные устройства, включаются в состав системы в нуж­ном количестве.

Вычислительная система называется многопроцессорной, ес­ли она содержит несколько процессоров, работающих с общей ОП (общее поле оперативной памяти), и управляется одной общей операционной системой. Часто в МПС организуется об­щее поле внешней памяти.

Под общим полем понимается равнодоступность устройств. Так, общее поле памяти означает, что все модули ОП доступны всем процессорам и каналам ввода-вывода (или всем перифе­рийным устройствам в случае наличия общего интерфейса); общее поле ВЗУ означает, что образующие его устройства до­ступны любому процессору и каналу.

-В МПС по сравнению с ММС достигается более быстрый обмен информацией между процессорами (через общую ОП), и поэтому может быть получена более высокая производитель­ность, более быстрая реакция на ситуации, возникающие внутри системы и в ее внешней среде, и более высокие надежность и живучесть, так как система сохраняет работоспособность, пока работоспособны хотя бы по одному модулю каждого типа устройства.

Однако построение многомашинных систем из серийно вы­пускаемых ЭВМ с их стандартными операционными системами значительно проще, чем построение МПС, требующих преодоле­ния определенных трудностей, возникающих при реализации общего поля памяти, и, главное, трудоемкой разработки специ­альной операционной системы.

Многопроцессорные системы представляют собой основной путь построения ВС сверхвысокой производительности. При со­здании таких ВС возникает много сложных проблем, среди которых отметим осуществление быстродействующих экономич­ных по аппаратурным затратам межмодульных связей, снижение потерь производительности из-за конфликтов при попытках не­скольких процессоров использовать один и тот же ресурс (на­пример, память). Указанные вопросы необходимо учитывать при выборе структуры МПС.

Многопроцессорные и многомашинные ВС, создаваемые пу­тем комплексирования оборудования нескольких серийных ЭВМ, часто называют вычислительными комплексами (ВК). Термин ВК часто используют применительно к ВС, управляющей каким- либо объектом.

На основе многопроцессорности и модульного принципа по­строения других устройств системы возможно создание отказоу­стойчивых систем, или, другими словами, систем повышенной живучести.

Многомашинные и многопроцессорные системы могут быть однородными и неоднородными. Однородные системы содержат однотипные ЭВМ или процессоры. Неоднородные ММС состоят из ЭВМ различного типа, а в неоднородных МПС используются различные специализированные процессоры, например процес­соры для операций с плавающей точкой, для обработки десятич­ных чисел, процессор, реализующий функции операционной системы, процессор для матричных задач и др.

Многопроцессорные системы и ММС могут иметь одноу­ровневую и иерархическую (многоуровневую) структуру. В пер­вом случае процессоры (машины) системы образуют один об­щий уровень обработки данных (рис. 15.1), а во втором (рис. 15.2) система содержит отдельные машины (процессоры) для выполнения различных уровней обработки информации. Обычно менее мощная машина (машина-сателлит) берет на себя ввод^ информации с различных терминалов и ее предвари­тельную обработку, разгружая от этих сравнительно простых процедур основную, более мощную ЭВМ, чем достигается увели­чение общей производительности (пропускной способности) комплекса. В качестве машин-сателлитов используют малые или микроЭВМ.

Рис. 15.2. Многомашинный вы числительный комплекс иерар­хической структуры | Центральная ЭВМ |
	Вспомогательная ЭВМ 1
ВЗУ			Устройства
			двова-вывова

Важной структурной особенностью ВС является способ орга­низации связей между устройствами (модулями) системы. Он непосредственно влияет на быстроту обмена информацией меж­ду модулями, а следовательно, на производительность системы, быстроту ее реакции на поступающие запросы, приспособлен­ность к изменениям конфигурации и, наконец, размеры аппара­турных затрат на осуществление межмодульных связей. В частности, от организации межмодульных связей зависят частота возникновения конфликтов при обращении процессоров к одним и тем же ресурсам (в первую очередь, к модулям памя­ти) и потери производительности из-за конфликтов.

Используются следующие способы организации межмодуль­ных (межустройственных) связей:

многоуровневые связи, соответствующие иерархии интерфей­сов ЭВМ;

общая шина;

регулярные связи между модулями;

коммутатор межмодульных связей.

Принципы организации МПС и ММС существенно отлича­ются в зависимости от их назначения. Поэтому целесообразно различать:

1. ВС, ориентированные в первую очередь на повышение надежности и живучести;

2. ВС, ориентированные в первую очередь на достижение сверхвысокой производительности (суперЭВМ).

2. Методы и средства организации многомашинных и многопроцессорных вычислительных комплексов на основе ЭВМ общего назначения (ЕС ЭВМ)

ЭВМ Ёдиной системы первоначально создавались в основ­ном как однопроцессорные универсальные по назначению маши­ны, содержащие большой набор периферийных устройств. В этих ЭВМ используется иерархия разнообразных интерфейсов для связи между различными группами устройств (см. § 11.3), что определяет специфику построения многомашинных и много­процессорных комплексов (ММК и МПК) в ЕС ЭВМ.

В соответствии с этой иерархией интерфейсов в ЕС ЭВМ для комплексирования машин в ММК и МПК создан набор средств комплексирования или системных средств, обеспечивающих воз­можность обмена информацией между машинами. Связь между машинами может осуществляться несколькими способами (на нескольких уровнях структуры машин):

1. на уровне процессоров — через интерфейс прямого управ­ления (в ММК) и через общее поле оперативной памяти (в МПК) ;

2. на уровне каналов ввода-вывода — при помощи адапте­ров канал — канал (используются в ММК);

3. на уровне внешних ЗУ — через общие поля внешних ЗУ, создаваемых с помощью разделенных устройств управления (с встроенными в них двухканальными переключателями) запо­минающими устройствами на дисках и лентах (применяются в ММК и МПК).

В качестве примера на рис. 15.3 приведена упрощенная структура двухмашинного вычислительного комплекса ВК2М46,

Процессор		Интерфейс прямого управления		Процессор
	Прямое		Прямое
	управление	* ♦ г	управление

1		БУК	*
ОП				ОП

I

Каналы ддода-Вывода

Каналы ввода-вывода

I

S

I

(а

I

I

1

I

1'

5:2

О

L

К другим систе­мам

©4

$

«•«а

Р9ЫЛ С ДКП

X

РУУД О ДКП

Т“

<Ь• • • <Ь

[рам с дкп'

•*\akk\j-

К другим систе­мам

*GmU-'

*П

G

О

L

Устрой­ства Ввода- ВыдоВа

РУУЛ с ДКП~\*-

~Ё5

0 Дисковое ЗУ 0 Ленточное ЗУ

Рис. 15.3. Средства системной организации в ЕС ЭВМ. Структура двух­машинного комплекса ВК2М46:

БТМК и БЛМК— байт и блок-мультиплексные каналы; АКК — адаптер ка­нал — канал; РУУД и РУУЛ — разделенные устройства управления соответ­ственно дисковыми и ленточными ЗУ\ ДПК — двухканальный переключатель; БУК — блок управления комплексом

состоящего из двух ЭВМ ЕС-1046, в которых используются указанные выше средства [68].

Понятие интерфейса прямого управления включает в себя систему шин, сигналов и команд прямого управления, предна­значенных для выполнения процедуры обмена информацией между процессорами, при этом используется механизм внешних прерываний.

В ЕС ЭВМ имеются две команды прямого управления (фор­мата SI) : «Прямая запись» и «Прямое чтение». При выполнении команды «Прямая запись» процессор данной ЭВМ выставляет на выходной информационной шине прямого управления сигналы, соответствующие коду адресуемого командой байта из своей ОП, и одновременно посылает в другую ЭВМ сигнал запроса внешне­го прерывания. Процессор другой ЭВМ по сигналу прерывания переходит к выполнению команды «Прямое чтение», принимает байт данных со своей входной информационной шины и помеща­ет его в свою ОП по адресу, указанному в этой команде.

Связь через интерфейс прямого управления используют главным образом для передачи информации, управляющей и синхронизирующей работу комплекса.

Разделенные устройства управления (РУУ) обеспечивают доступ обеих машин к некоторым общим периферийным устрой­ствам.

Двухканальные переключатели, (ДКП) позволяют подклю­чать блоки управления ВЗУ к двум каналам различных машин и создавать общие поля внешней памяти на дисках и лентах. Часть ВЗУ может оставаться в индивидуальном пользовании отдельных машин.

В изображенном на рис. 15.3 комплексе используются разде­ленные устройства управления со встроенными двухканальными переключателями.

Адаптер канал — канал (АКК) — стартстопное устройство, позволяющее производить обмен большими информационными массивами со скоростью, соответствующей пропускной способ­ности менее быстродействующего из двух им связываемых кана­лов. Адаптер канал — канал при работе в монопольном режиме на расширенный двухбайтовый интерфейс может обеспечивать обмен информацией между машинами со скоростью до 3 Мбайт/с, а при работе на однобайтовый интерфейс — со ско­ростью до 1,5 Мбайт/с. Адаптер канал — канал подключается к каналу и управляется им как обычное УПУ, при этом каждая из связанных адаптером ЭВМ по отношению друг к другу явля­ется ПУ.

Обметим, что в ВК, представленном на рис. 15.3, в состав каждой ЭВМ входят три АКК- Один из них может работать на одно- или двухбайтовый интерфейс, а другие — только на одно­байтовый.

Повышение надежности и возможность быстрой замены от­казавшей машины достигаются дублированием информации в ОП и общих ВЗУ, формированием пакета запросов и файлов входных данных в общих ВЗУ, использованием АКК для быстро­го «выравнивания» содержания ОП машин при вводе отремонти­рованной ЭВМ в комплекс.

В индивидуальных ВЗУ хранятся операционная система ма­шины и программы и данные фоновых (не основных) задач, выполняемых в режиме параллельной работы, когда другая ЭВМ обрабатывает основную программу.

Комплекс снабжают БУК, подключаемым к интерфейсу пря­мого управления. Блок управления комплексом, бе^я на себя функции пультов управления отдельных ЭВМ, обеспечивает за­дание конфигурации комплекса и режимов его работы, а также индикацию состояний отдельных ЭВМ.

Основными режимами работы двухмашинных комплексов являются следующие: дуплексный (режим нагруженного резер­вирования), параллельная работа машин (распределение задач между машинами), автономная работа машин (например, с вы­водом одной машины на профилактические испытания или ре­монт), со второй машиной в горячем или холодном резерве.

В дуплексном режиме обе машины выполняют одни и те же операции над одной и той же информацией. Работа обеих машин синхронизируется электронными часами одной из машин (веду­щей). В памяти обеих машин в каждый момент времени на­ходится одна и та же информация. В определенные моменты, например после выполнения каждой команды или некоторых частей программы, результаты вычислений в обеих машинах сравниваются; при их совпадении работа машин продолжается, и ведущая машина выдает результаты во внешнюю среду, на­пример управляющие воздействия на объект управления. Вы­ходы другой машины (ведомой) при этом блокированы.

При обнаружении несовпадения в результатах обработки автоматически определяется неисправная ЭВМ (по сигналу системы автоматического контроля или при помощи тестов), которая выводится на ремонт, а исправная ЭВМ продолжает работу под контролем встроенной в ЭВМ системы автоматиче­ского контроля, при этом, если она ранее была ведомой, ее вы­ходы разблокируются.

После устранения отказа отремонтированная машина вво­дится в дуплексный режим в качестве ведомой. Предваритель­но в ее память переписывается содержимое памяти ведущей машины.

Очевидно, что если средняя продолжительность ремонта (среднее время восстановления после отказа составляет около 0,5 ч) существенно меньше среднего интервала времени между возникновениями неисправностей (см. гл. 12), то в дуплексном режиме значительно повышается общая надежность комплекса.

При работе комплекса в дуплексном режиме почти на по­рядок увеличивается средняя наработка на отказ по сравнению со средней наработкой одной машины.

Если этого оказывается недостаточно, то в комплекс до­бавляется третья ЭВМ. В трехмашинном ВК возможна дуплекс­ная работа любой пары ЭВМ, а третья служит резервной, авто­матически замещающей в дуплексе вышедшую из строя или выводимую на профилактические испытания машину. При этом используются дополнительные системные средства в виде груп­повых коммутаторов, подключающих линии интерфейсов ввода- вывода к соответствующим каналам.

Двухмашинные комплексы используют также, когда необхо­димо получить производительность и пропускную способность, большие, чем может обеспечить одна ЭВМ, например, чтобы снять пиковые нагрузки по обработке или вводу информации. В таких случаях машины комплекса, обмениваясь друг с другом информацией, выполняют разные программы (задачи) или по одним и тем же программам обрабатывают разные данные (режим параллельной работы машин).

Проблемы построения многопроцессорных вычислительных комплексов в ЕС ЭВМ

В многопроцессорных ВК создается общее поле ОП, обеспечиваю­щее наибольшую скорость обмена данными между основными устрой­ствами комплекса — процессорами, модулями памяти, каналами ввода- вывода.

При построении многопроцессорных ВК в ЕС возникает ряд дово­льно сложных проблем, связанных с организацией многопроцессорности на основе штатных процессоров мультипрограммных однопроцессор­ных ЭВМ универсального назначения, недостаточно приспособленных для этой цели. Основные затруднения связаны с осуществлением общего 'поля ОП.

Разнесение зон фиксированных ячеек. В машинах ЕС ЭВМ выделена зона фиксированных ячеек — постоянно распределенная область памяти (первые 4 Кбайт), ячейки которой имеют определенное функциональное назначение, а их адреса зафиксированы для определенных процедур, например адреса «старых» и «новых» ССП, адресного слова каналаи др. В общем случае при работе процессоров в МПК их зоны фиксиро­ванных ячеек содержат неодинаковую информацию. Поэтому при по­строении общего поля ОП возникает необходимость выделения каждо­му процессору своей зоны фиксированных ячеек, не пересекающейся с зонами других процессоров, и создания механизма, который обращения данного процессора по адресу из начальной (4 Кбайт) области транс­формирует в соответствующий адрес выделенной процессору зоны. Этот механизм называется префиксацией.

Механизм префиксации. Каждому процессору МПК присваивается префикс— 12-разрядный код, задающий 12 старших разрядов началь­ного адреса (младшие 12 разрядов начального адреса — нули) выделен­ных процессору 4 Кбайт в общем поле ОП в качестве его постоянно распределенной области памяти. Префикс определяет значение смеще­ния в общем поле ОП адресов 0—4095 для данного процессора. Про­цессоры снабжаются программно-загружаемыми регистрами префикса. Префиксация производится блоком управления памятью непосредствен­но перед обращением и состоит в следующем преобразовании адреса: старшие 12 разрядов адреса заменяются префиксом, если эти разряды равны нулю, заменяются нулями, если эти разряды равны префиксу (обратная префиксация), не изменяются в других случаях. Младшие 12 разрядов адреса не подвергаются изменениям.

«Выравнивание» содержимого собственных специальных памятей процессоров. Процессоры ЕС ЭВМ имеют собственные быстродействую­щие память ключей защиты (ПКЗ), ассоциативную память страничной таблицы (блок быстрой переадресации), буферную память. Если один процессор с санкции операционной системы произвел изменение ключа защиты блока (страницы) или строки в страничной таблице в своих соответствующих памятях, то аналогичные изменения должны произ­водиться и в памятях других процессоров. В противном случае мо­гут возникнуть серьезные нарушения в работе МПК. Отметим, что применение в устройстве управления памятью одной для всего поля ОП памяти ключей защиты оказывается нерациональным из-за недо­пустимого возрастания частоты конфликтов при обращении к памяти.

Нарушения в работе системы могут возникнуть, если один процессор измёнил данные в ОП, а другой, выполняя программу, воспользовался устаревшей копией этих данных в своей буферной памяти. Поэтому при изменении процессором некоторых данных в ОП копии этих данных, ставшие неактуальными в буферных памятях других процессоров, до­лжны объявляться недействительными. Аналогично, если процессор из­менил строку страничной таблицы в ОП, для соответствующей физиче­ской страницы должна быть аннулирована строка в блоках быстрой переадресации всех процессоров. «Выравнивание» информации в соб­ственных памятях процессоров достигается с помощью соответствую­щих управляющих сигналов.

Межпроцессорная связь в М’ПК помимо упомянутых выше команд прямого управления достигается с помощью специальной командысиг­нал процессору (форматRS)> задающей номер вызываемого процессора

J? 9 9 ф Модули ОП I— 1 ■ ■ | 1 I 1 ) ЛОП ] 4=L -J L-Z	Средства сигнализации			\ f \ г
Процессор	< И ПКФ |< -*			Процессор
Каналы ддода-дыдода			КаналЪ! двода-дыдода
БГмко\бтмкь \влмкз\влтг \bamkt			ВЛМК1 \ВЛМК2 БЛМКЗ\БТМК4\вТМК0

о №

*□ G

си

И

^ '

Устройства

ввода-

вывода

(!> • • • 6

►I

РУУД с ДКП \*

Т