u_course

вторному использованию по возвращении из функции. Передача по готовности (MPI_Rsend()) похожа на синхронную передачу, но проверка готовности получателя принимать данные не выполняется, то есть, если в момент инициализации передачи получатель не готов, то происходит ошибка. Передача по готовности в некотором смысле реализует рандеву, то есть передача состоится только в том случае, если получатель ее ожидает. И, наконец, автоматический режим передачи (MPI_Send()) предполагает, что система сама делает выбор в пользу синхронной или буферизованной передачи на основании размера передаваемых данных.

Блокирующая функция приема существует одна для всех режимов (MPI_Recv()), и возврат из нее означает, что данные приняты.

Обобщенные сведения об основных функциях двухточечного обмена содержатся в таблице 6.1.

Важным моментом, связанным с автоматическим режимом, является то, что критический размер массива не определяется стандартом и может изменяться в зависимости от реализации. С этим может быть связано такое явление, как прекращение работы программы с ростом ее размера, когда синхронный режим неожиданно для пользователя сменяется буферизованным, а памяти в системе не хватает. Поэтому при передаче крупных блоков данных лучше управлять буферизацией явно (MPI_Bsend()/MPI_Ibsend()), а при передаче действительно крупных – не использовать буферизацию (то есть пользовать-

ся MPI_Ssend()/MPI_Issend()) .

Существует также функция совмещенного приема и передачи MPI_Sendrecv(), которую рекомендуется по возможности применять.

Перед началом приема можно узнать о наличие сообщения и его параметрах блокирующей функцией MPI_Probe() или ее неблокирующим вариантом MPI_Iprobe(). Эти функции возвращают в структуру специального типа MPI_Status сведения об отправителе, теге и длине сообщения.

Использовать ли блокирующие или неблокирующие функции? Однозначного ответа нет. Если позволяет время, отведенное на разработку, лучше попробовать оба варианта. Если время пересылки данных много меньше времени счета, то использование неблокирующих функций только усложнит отладку, но ничего не даст в плане производительности; если же время пересылки сопоставимо со временем счета, то выигрыш от отсутствия блокировок может быть существенным.

Чего совершенно точно не стоит делать – это пересылать данные малыми порциями. Какова бы ни была коммуникационная сеть, производительность множества мелких передач всегда будет намного ниже, чем одной крупной.

Рис. 6.2. Глобальные операции приведения для группы из трех процессов

Латентность и пропускная способность

Латентность – это время между инициированием передачи данных в процессе посылки и прибытия первого байта в процессе приема. Латентность часто зависит от длины посылаемых сообщений. Ее значение может изменяться в зависимости от того, послано ли большое количество маленьких сообщений или нескольких больших сообщений.

Пропускная способность – это величина, обратная времени, необходимого для передачи одного байта. Пропускная способность обычно выражается в Мб/с. Пропускная способность важна, когда передаются сообщения больших размеров.

Для улучшения характеристик латентности и пропускной способности необходимо учитывать следующие соображения:

лучше использовать архивацию данных для больших сообщений, а также использовать описываемые типы данных вместо MPI_PACK() и MPI_UNPACK() там, где это возможно;

для устранения вызовов MPI_Send() и MPI_Recv() каждый раз при коммуникации процессов, по возможности следует использовать коллективные операции;

поскольку использование MPI_ANY_SOURCE может увеличивать латентность, следует стараться определять номер принимающего процесса при вызове соответствующих функций MPI;

предпочтительнее использовать MPI_RECV_INIT() и MPI_STARTALL() вместо вызова MPI_Irecv() в цикле в случаях, когда запросы на прием сообщений не могут быть выполнены сразу.

Заключительные замечания

Вообще говоря, минимальный набор функций MPI и приемов работы с ними, достаточный для решения большинства задач с приемлемой эффективностью, не так велик. На практике часто оказывается, что владение эффективными приемами работы с небольшим количеством функций оказывается полезнее, чем поверхностное знание множества возможных вариантов реализации той или иной операции. А единственным способом, позволяющим обойтись малыми средствами, является тщательное проектирование и планирование всей структуры параллельной программы с учетом тех возможностей, которые в состоянии предоставить как кластер, так и MPI-библиотека – но до, а не во время написания программы.

КОНТРОЛЬНЫЕВОПРОСЫ

1.Специфика программирования для параллельных вычислительных систем с распределенной памятью.

2.Механизм передачи сообщений. Синхронная и асинхронная передача сообщений.

3.Чем механизм передачи сообщений отличается от передачи данных через общую память?

4.Какие методы взаимодействия параллельных процессов используются при передаче сообщений?

5.Какие методы планирования процессов целесообразно применять для вычислительных систем с распределенной памятью?

6.Общая концепция построения MPI-программы.

7.Понятие ускорения и эффективности параллельной программы.

8.Организация вычислений в MPI: понятие группы процессов, понятие топологии.

9.Организация вычислений в MPI: пользовательские типы данных.

10.Парные обмены в MPI. Блокирующие и неблокирующие функции передачи данных.

11.Четыре режима посылки данных в MPI.

12.Функции приема данных в MPI.

13.Групповые функции в MPI.

14.Проблема латеннтности и пропускной способности.

ГЛАВА7. ОСНОВНЫЕФУНКЦИИСТАНДАРТА

MPI

В настоящей главе описаны сведения об основных функциональных возможностях MPI. Многие функции стандарта не представлены здесь, для более детального знакомства следует обратиться к описанию стандарта MPI или, например, монографиям [2,4].

Для любой функции MPI можно указать три основных признака.

Блокирующие функции останавливают (блокируют) выполнение процесса до завершения требуемой операции. Неблокирующие функции возвращают управление немедленно, выполнение операции продолжается в фоновом режиме. Таким образом, неблокирующая функция – это заявка на выполнение операции, что бы проследить за удовлетворением системой заявки одним из выходных параметров функции является requests. Существуют специальные функции проверки окончания операции, в которых requests является входным параметром. До окончания операции система запрещает использовать переменные и массивы, которые являлись аргументами неблокирующей функции.

Локальные функции не инициируют пересылок данных между ветвями. Например, поскольку копии системных данных хранятся в каждой ветви программы, то большинство информационных функций является локальными, т.к. копии системных данных уже хранятся в каждой ветви. Естественно функция передачи MPI_Send() локальной не является, но функция приема MPI_Recv() – локальная поскольку пассивно ждет поступления данных, ничего не пытаясь сообщить другим ветвям.

Коллективные функции должны быть вызваны всеми процессами коммутатора, который является одним из входящих параметров. Несоблюдение этого правила приводит к ошибкам выполнения. Помимо групповых функций обмена к коллективным относятся, например, функции создания коммутатора.

Например, функция MPI_Barrier(...) является блокирующей, нелокальной коллективной, а функция MPI_Isend(...) неблокирующей, нелокальной и не коллективной.

В языке С все функции имеют целый тип и в случае успешного завершения возвращают MPI_SUCCESS, в противном случае – код ошибки.

ПОНЯТИЕГРУППЫ, ОБЛАСТИСВЯЗИ, КОММУНИКАТОРА

Процессы внутри приложения объединяются в группы. Один и тот же процесс может входить в несколько различных групп. Каждый процесс может узнать у библиотеки связи свой номер (ранг) внутри группы, и, в зависимости от номера выполнять соответствующую часть программы. В распоря-