Математическое моделирование в астрофизике. В 2 частях. Ч.2. Учебное пособие

int source , MPI_Comm comm );

Значения count, datatype, source, comm должны быть одинаковы у всех процессов.

2. Cборка данных со всех процессов в буфере rbuf процесса dest (в порядке возрастания номера процесса):

MPI_Gather ( void * sbuf , int scount , MPI_Datatype stype , void * rbuf , int rcount , MPI_Datatype rtype , int

dest , MPI_Comm comm );

3. обратная операция (рассылка данных от процесса source всем остальным):

MPI_Scatter ( void * sbuf , int scount , MPI_Datatype stype , void * rbuf , int rcount , MPI_Datatype rtype , int source , MPI_Comm comm );

Все вышеперечисленные операции осуществляются с блокировкой. Пример применения операции MPI_Bcast приведен в листинге 4.13, а примеры применения операций MPI_Gather и MPI_Scatter – в листингах 4.14 и 4.15. В листинге 4.14 массивы sendarray посылаются процессу root всеми процессами, в том числе самим root, и объединяются в массиве rbuf. Память под массив rbuf выделяется только в принимающем процессе. В листинге 4.15 процесс root раздает всем процессам, включая себя, по сто элементов массива sendbuf.

Листинг 4.13. Программа с использованием процедуры MPI_Bcast

для рассылки текстового сообщения всем процессам от процесса

81

10 root = 1;

11

12MPI_Init (& argc , & argv );

13MPI_Comm_size ( MPI_COMM_WORLD , & numtasks );

14MPI_Comm_rank ( MPI_COMM_WORLD , & rank );

15

16if ( rank == root )

17strcpy (sbuf , " Hello from root \0");

18MPI_Bcast (sbuf , 16, MPI_CHAR , root , MPI_COMM_WORLD );

19

20if ( rank == root )

21strcpy (sbuf , "I am root \0");

22printf ("I am %d. Message received : %s\n", rank , sbuf );

23

82

9MPI_Comm_size ( comm , & gsize );

Листинг 4.15. Фрагмент программа с использованием процедуры MPI_Scatter

5...

9MPI_Comm_size ( comm , & gsize );

10 sendbuf = new int [ gsize * 100];

11}

12...

13MPI_Scatter ( sendbuf , 100 , MPI_INT , rbuf , 100 , MPI_INT , root , comm );

Следует упомянуть о типах данных для пересылки. Существуют встроенные типы MPI_INT, MPI_FLOAT, MPI_DOUBLE, MPI_CHAR и т. д., однако на их основе разработчик может конструировать свои собственные. Производные типы данных являются структурами, состоящими из основных типов, например смежный тип:

MPI_Type_contiguous ( int count , MPI_Datatype oldtype , MPI_Datatype * newtype );

Эта процедура создает из типа oldtype тип newtype, объединяя count

элементов этого типа, что удобно при пересылке участков массивов, хранящихся в памяти последовательно.

83

Можно создать и более сложный тип данных – маску, позволяющую пересылать элементы массива не подряд, а с некоторым интервалом между ними (например, только нечетные):

int MPI_Type_vector ( int count , int blocklength , int stride , MPI_Datatype oldtype , MPI_Datatype * newtype );

Данная процедура создает тип для пересылки count участков массива, причем количество элементов каждого пересылаемого участка равно blocklength, а количество элементов между началами участков равно

stride.

Следующая процедура делает маску еще сложнее: теперь длина каждого участка и расстояние между ними задаются индивидуально при помощи массивов array_of_blocklengths и array_of_displacements:

int MPI_Type_indexed ( int count , int *

array_of_blocklengths , int * array_of_displacements , MPI_Datatype oldtype , MPI_Datatype * newtype );

Структурный тип объединяет для пересылки элементы различных ти-

пов:

int MPI_Type_struct ( int count , int * array_of_blocklengths , MPI_Aint *

array_of_displacements , MPI_Datatype * array_of_types , MPI_Datatype * newtype );

Пример создания и использования типа для пересылки частиц в кинетическом коде с использованием структурного типа приведен в листинге 4.16.

Листинг 4.16. Фрагмент программы с созданием типа данных

для пересылки частиц в кинетическом коде

1 // special structure for sending particle data

2 typedef struct tagSENDPART

3 {

4 int sort ; // sort of particle

84

10{

11SENDPART * p = new SENDPART ;

12int count = 3;

13int blocklengths [3];

14MPI_Aint displacements [3];

15MPI_Aint addresses [4];

16MPI_Datatype types [3];

30MPI_Type_struct ( count , blocklengths , displacements , types , newtype );

31MPI_Type_commit ( newtype );

32delete p;

33}

34...

35 int main ( int argc , char ** argv )

36 {

85

37...

38MPI_Datatype MPI_SENDPART ;

39Build_MPI_Type_SENDPART (& MPI_SENDPART );

40...

41 MPIsend ( parts , 4, MPI_SENDPART , dest , tag ,

MPI_COMM_WORLD );

42...

43MPI_Type_free ( MPI_SENDPART );

44...

45}

Вкодах с пространственной дискретизацией при распараллеливании часто создаются дополнительные ячейки для пересылок (ghost cells) (рис. 4.5). При вычислении градиентов эти ячейки соседствуют с граничными ячейками. В дополнительные ячейки периодически присылается актуальная информация о полях, плотностях и токах в граничных ячейках соседнего процесса.

Во многих случаях технологии векторизации, OpenMP и MPI можно совмещать, т. е. векторизовать операции над массивами, распараллеливать с помощью OpenMP внешние циклы и осуществлять коммуникацию между узлами при помощи технологии MPI. Число ядер в современных вычислительных комплексах может достигать сотен тысяч. Благодаря этому техно-

Рис. 4.5. Дополнительные ячейки для пересылок в кодах с пространственной дискретизацией

86

логии параллельного программирования позволяют решать задачи, с которыми не может справиться ни один персональный компьютер.

Упражнения

1. Оптимизировать программу, считающую ускорение в магнитном поле, энергию и импульс массива частиц. С помощью библиотеки time.h определить время работы программы до и после оптимизации, усредненное по нескольким запускам.

Текст программы:

87

23double worktime ;

24// initialization

37}

38else

39{

40

41

42

43}

44}

45printf (" total work time = %f seconds \n", worktime );

46}

2.Откомпилировать программу с флагом векторизации. Выяснить, векторизуется ли цикл. Если нет – исправить ситуацию (возможно, с применением директив OpenMP). С помощью библиотеки time.h определить время работы программы с векторизацией и без.

88

26}

27printf (" total work time = %f seconds \n", worktime );

28}

3.Распараллелить методом OpenMP программу подсчета суммарной энергии массива частиц. С помощью библиотеки time.h определить время счета до и после распараллеливания.

Текст программы:

#include " time .h"

#include " math .h"

#include " stdio .h"

89

}

printf ("E = %f work time = %f seconds \n", E, worktime );

}

4. Распараллелить методом OpenMP и векторизовать программу суммирования элементов массива. С помощью библиотеки time.h определить время счета до и после распараллеливания.

Текст программы:

#include " time .h"

#include " math .h"

#include " stdio .h"

90