13 Вопрос. Общая структура компьютера cray t3e: вычислительные узлы и процессорные элементы, коммуникационная сеть.

Вычислительные системы с распределенной памятью

Бе­рется какое-то количество вычислительных узлов, которые объединяются друг с другом некоторой коммуникационной средой. Каждый вычислитель­ный узел имеет один или несколько процессоров и свою собственную ло­кальную память, разделяемую этими процессорами. Распределенность памя­ти означает то, что каждый процессор имеет непосредственный доступ только к локальной памяти своего узла. Доступ к данным, расположенным в памяти других узлов, выполняется дольше и другими, более сложными спо­собами. В последнее время в качестве узлов все чаще и чаще используют полнофункциональные компьютеры, содержащие, например, и собственные внешние устройства. Коммуникационная среда может специально проекти­роваться для данной вычислительной системы либо быть стандартной се­тью, доступной на рынке.

Итак, компьютеры Cray T3D/T3E — это массивно-параллельные компьюте­ры с распределенной памятью, объединяющие в максимальной конфигура­ции более 2000 процессоров. Как и любые компьютеры данного класса, они содержат два основных компонента: узлы и коммуникационную среду.

Все узлы компьютера делятся на три группы. Когда пользователь подключается к компьютеру, то он попадает на управляющие узлы. Эти узлы работают в многопользовательском режиме, на этих же узлах выполняются однопроцес­сорные программы и работают командные файлы. Узлы операционной системы недоступны пользователям напрямую. Эти узлы поддерживают выполнение многих системных сервисных функций ОС, в частности, работу с файловой системой. Вычислительные узлы компьютера предназначены для выполнения программ пользователя в монопольном режиме. При запуске программе выде­ляется требуемое число узлов, которые за ней закрепляются вплоть до момен­та ее завершения. Гарантируется, что никакая программа не сможет занять вычислительные узлы, на которых уже работает другая программа. Число уз­лов каждого типа зависит от конфигурации системы. В частности, данные, взятые из двух реальных конфигураций Cray ТЗЕ, выглядят так: 24/16/576 или 7/5/260 (управляющие узлы/ узлы ОС/ вычислительные узлы).

Каждый узел последних моделей состоит из процессорного элемента (ПЭ) и сетевого интерфейса. Процессорный элемент содержит один процессор Alpha, локальную память и вспомогательные подсистемы. В модели Cray ТЗЕ-1200Е использовались микропроцессоры DEC Alpha 21164/600 МГц. В модели Cray ТЗЕ-1350 в узлах используются микропроцессоры Alpha 21164А (EV5.6) с тактовой частотой 675 МГц и пиковой производительностью 1,35 Гфлопс. Интересно, что компьютеры серии Cray T3D содержали в каж­дом узле по два независимых процессора DEC Alpha 21064/150 МГц.

Локальная память каждого процессорного элемента является частью физи­чески распределенной, но логически разделяемой памяти всего компьютера. Память физически распределена, т. к. каждый ПЭ содержит свою локаль­ную память. В то же время память разделяется всеми ПЭ, поскольку любой ПЭ через свой сетевой интерфейс может обращаться к памяти любого дру­гого ПЭ, не прерывая его работы.

Сетевой интерфейс узла связан с соответствующим сетевым маршрутизато­ром, который является частью коммуникационной сети. Все маршрутизато­ры расположены в узлах трехмерной целочисленной прямоугольной решет­ки и соединены между собой в соответствии с топологией трехмерного тора (рис). Это означает, что каждый узел имеет шесть непосредственных соседей вне зависимости от того, где он расположен: внутри параллелепипе­да, на ребре, на грани или в его вершине.

П одобная организация коммуникационной сети имеет много достоинств, среди которых отметим два. Во-первых, это возможность выбора альтерна­тивного маршрута для обхода поврежденных связей. А во-вторых, быстрая связь граничных узлов и небольшое среднее число перемещений по тору при взаимодействии разных ПЭ.

Каждая элементарная связь между двумя узлами — это два однонаправлен­ных канала передачи данных, что допускает одновременный обмен данными в противоположных направлениях. В модели Cray ТЗЕ-1200Е максимальная скорость передачи данных между узлами равна 480 Мбайт/с, латентность на уровне аппаратуры составляет менее 1 мкс.

Коммуникационная сеть образует трехмерную решетку, соединяя сетевые маршрутизаторы узлов в направлениях X, Y, Z. Выбор маршрута для обмена данными между двумя узлами А к В происходит следующим образом. От­талкиваясь от вершины А, сетевые маршрутизаторы сначала выполняют смещение по измерению X до тех пор, пока координата очередного транзит­ного узла и вершины В по измерению X не станут равными. Затем анало­гичная процедура выполняется по Y, а в конце по Z(cm. рис. 3.14). Так как смещение может быть как положительным, так и отрицательным, то этот механизм помогает минимизировать число перемещений по сети и обойти поврежденные связи. Сетевые маршрутизаторы спроектированы таким обра­зом, чтобы осуществлять параллельный транзит данных по каждому из трех измерений X, Y, Z одновременно.

Нумерация вычислительных узлов.

Каждому ПЭ в системе присвоен уникальный физический номер, определяющий его физическое расположение, который и используется непосредственно аппаратурой. Не обязательно все физические ПЭ принимают участие в формировании логической конфигурации компьютера. Например, 512-процессорная конфигурация компьютера CRAY T3D реально содержит 520 физических ПЭ, 8 из которых находятся в резерве.

Каждому физическому ПЭ присваивается логический номер, определяющий его расположение в логической конфигурации компьютера, которая уже и образует трехмерный тор.

Каждой программе пользователя из трехмерной решетки вычислительных узлов выделяется отдельный раздел, имеющий форму прямоугольного параллелепипеда, на котором работает только данная программа (не считая компонент ОС). Для последовательной нумерации ПЭ, выделенных пользователю, вводится виртуальная нумерация.