Вычислительные системы с распределенной памятью

Идея построения вычислительных систем данного класса очень проста. Берется какое-то количество вычислительных узлов, которые объединяются друг с другом некоторой коммуникационной средой. Каждый вычислитель­ный узел имеет один или несколько процессоров и свою собственную ло­кальную память, разделяемую этими процессорами. Распределенность памя­ти означает то, что каждый процессор имеет непосредственный доступ только к локальной памяти своего узла. Доступ к данным, расположенным в памяти других узлов, выполняется дольше и другими, более сложными спо­собами.

В последнее время в качестве узлов все чаще и чаше используют полнофункциональные компьютеры, содержащие, например, и собственные внешние устройства. Коммуникационная среда может специально проектироваться для данной вычислительной системы либо быть стандартной сетью доступной на рынке.

Преимуществ у такой схемы организации параллельных компьютеров много. Соотношение цена/производительность у систем с рас­пределенной памятью ниже, чем у компьютеров других классов. И главное, такая схема дает возможность практически неограниченно наращивать чис­ло процессоров в системе и увеличивать ее производительность. Большое число подключаемых процессоров даже определило специальное название для систем данного класса: компьютеры с массовым параллелизмом или с массивно-параллельные компьютеры.

Широкое распространение компьютеры с такой архитектурой получили с начала 90-х годов прошлого столетия. Среди них можно назвать Intel Paragon, IBM SP1/SP2, Cray T3D/T3E.

Опишем архитектуру компьютера Cray T3D/T3E. Являясь представителем обсуждаемого класса вычислительных систем, эти компьютеры обладают рядом интересных дополни­тельных особенностей.

Компьютеры Cray T3D/T3E — это массивно-параллельные компьюте­ры с распределенной памятью, объединяющие в максимальной конфигура­ции более 2000 процессоров. Как и любые компьютеры данного класса, они содержат два основных компонента: узлы и коммуникационную среду.

Все узлы компьютера делятся на три группы.

Когда пользователь подключается к компьютеру, то он попадает на управляющие узлы. Эти узлы работают в многопользовательском режиме, на этих же узлах выполняются однопроцес­сорные программы и работают командные файлы. Узлы операционной системы недоступны пользователям напрямую. Эти узлы поддерживают выполнение многих системных сервисных функций ОС, в частности, работу с файловой системой. Вычислительные узлы компьютера предназначены для выполнения программ пользователя в монопольном режиме. При запуске программе выде­ляется требуемое число узлов, которые за ней закрепляются вплоть до момен­та ее завершения. Гарантируется, что никакая программа не сможет занять вычислительные узлы, на которых уже работает другая программа. Число уз­лов каждого типа зависит от конфигурации системы.

Каждый узел последних моделей состоит из процессорного элемента (ПЭ) и сетевого интерфейс.

Локальная память каждого процессорного элемента является частью физи­чески распределенной, но логически разделяемой памяти всего компьютера. Память физически распределена, т. к. каждый ПЭ содержит свою локаль­ную память. В то же время память разделяется всеми ПЭ, поскольку любой ПЭ через свой сетевой интерфейс может обращаться к памяти любого дру­гого ПЭ, не прерывая его работы.

Рис. Коммуникационная решетка CRAY T3E

Сетевой интерфейс узла связан с соответствующим сетевым маршрутизато­ром, который является частью коммуникационной сети. Все маршрутизато­ры расположены в узлах трехмерной целочисленной прямоугольной решет­ки и соединены между собой в соответствии с топологией трехмерного тора. Это означает, что каждый узел имеет шесть непосредственных соседей вне зависимости от того, где он расположен, независимо от расстояния подобной организации данной сети есть множество достоинств, отметим 2:

1) возможность выбора альтерна­тивного маршрута для обхода поврежденных связей.

2) Быстрая связь граничных узлов и небольшое среднее число перемещений по тору при взаимодействии разных ПЭ.

Каждая элементарная связь между двумя узлами — это два однонаправлен­ных канала передачи данных, что допускает одновременный обмен данными в противоположных направлениях.

Интересной особенностью архитектуры компьютера является ап­паратная поддержка барьерной синхронизации.

Барьер —- это точка в программе, при достижении которой каждый процесс должен ждать до тех пор, пока ос­тальные процессы также не дойдут до барьера. Лишь после этого события все процессы могут продолжать работу дальше.

Помимо традиционных суперкомпьютеров, класс компьютеров с распределенной памятью в последнее время активно расши­ряется за счет вычислительных кластеров.

Кластер есть совокупность ком­пьютеров, объединенных в рамках некоторой сети для решения одной зада­чи. В качестве вычислительных узлов обычно используются дос­тупные на рынке однопроцессорные компьютеры. Каждый узел работает под своей копии операционной системы, в качестве которой используется Linux,Windows,Solaris. Состав и мощность узлов может меняться в рамках одного кластера, что дает возможность создавать неоднородные системы.

Выбор конкретной компьютерной среды выбирается по определенным факторам: особенностью кластерного решения задачи, необходимостью последовательного расширения и т.д.

Как правило предоставляется возможность удаленного доступа на кластер через интернет.

Рис. Общая система вычислительно кластера