Метод распараллеливания по данным

Условия применения метода

1.Наличие локальной памяти у процессоров – метод ориентирован на многопроцессорные системы с распределенной памятью

2.Распределение (разделение) многомерных массивов. Фактически – распределение (разделение) сетки, покрывающей пространство решаемой задачи. Предположение о примерно одинаковом времени счета в каждой точке пространства

Основные задачи, которые надо решать при распараллеливании по данным

1)распределение данных;

2)распределение вычислений;

3)определение удаленных данных;

4)определение операторов обмена удаленными данными и места их

расположения в программе;

5) правила написания текста параллельной программы (описания переменных, циклы, маски операторов); модификация текста последовательной программы в случае распараллеливания

Метод распараллеливания по данным – некоторая формализация в простом случае

Распределенная размерность массива X – размерность, по которой проводится распределение (разделение) данных.

В задаче 1) - распределении данных необходимо

для каждого массива X(n1 : m1 , … nk : mk) определить распределенные размерности.

а) массивов много – как это делать согласованно б) сколько размерностей в) какие размерности

В рассматриваемом простом случае будем считать, что эта задача решена

В задаче 1) - распределении данных необходимо

для каждой распределенной размерности r, X(… , nr : mr, …), определить функцию F, задающую для каждого значения индекса i,

nr <= i <= mr, номер процессора iproc, которому это значение принадлежит, то есть

iproc = F(X, r, i)

В рассматриваемом простом случае будем считать, что эта задача решена – используется блочное распределение (распределение одинаковыми подряд расположенными фрагментами).

Массив

A(1:L)

iglobal = 1, … ,L

Массив

A(1:L)

Например, необходимо для вычислений вида :

Задача 2) - распределение вычислений при известном распределении данных решается автоматически

Вычисляемые данные – переменные, в которые проводится запись значений (например, переменные с индексами в левых частях операторов присваиваний).

DO i=1,95

X(i)=1 ! X (i), i=1,95 – вычисляемые данные ENDDO

Требуемые данные – переменные, которые требуются для вычисления значений (например, переменные с индексами в правых частях операторов присваиваний или в условиях операторов IF ).

DO i=1,20

X(i) = Z(i+2) ! Z (i), i=3,22 – требуемые данные ENDDO

Требуемые данные могут быть собственными – находиться после распределения в том же процессоре, что и вычисляемые данные, для которых они требуются, либо удаленными – находиться в других процессорах.