424_9_ / MPI-collective_operations.otp

MPI: коллективные операции

Коллективные операции

●Барьерная синхронизация всех процессов группы ●Широковещательная передача (broadcast) от одного процесса всем остальным процессам группы ●Сбор данных из всех процессов группы в один процесс

●Рассылка данных одним процессом группы всем процессам группы

●Вариант сбора данных, когда все процессы группы получают результат

●Раздача / сбор данных из всех процессов группы всем процессам группы (полный обмен или all-to-all)

● Вычислительные операции

Broadcast

Scatter/gather

Allgather

All-to-All

Вызов коллективной функции может (но это не требуется) возвращать управление сразу, как только его участие в коллективной операции завершено.

Завершение вызова показывает, что процессотправитель уже может обращаться к буферу обмена.

Это однако не означает, что другие процессы в группе завершили операцию.

Вызов операции коллективного обмена может иметь эффект синхронизации всех процессов в группе.

С другой стороны, корректная переносимая программа должна учитывать факт, что коллективная операция может быть синхронизирована. Нельзя полагаться на этот побочный эффект синхронизации, но необходимо учитывать, что он может иметь место.