2.Синхронізація обчислень.

У ряді ситуацій незалежно виконуються в процесах обчислення необхідно синхронізувати. Так, наприклад, для вимірювання часу початку роботи паралельної програми необхідно, щоб для всіх процесів одночасно були завершені всі підготовчі дії, перед закінченням роботи програми всі процеси повинні завершити свої обчислення і т.п. Синхронізація процесів, тобто одночасне досягнення процесами тих чи інших точок процесу обчислень, забезпечується за допомогою функції MPI: int MPI_Barrier (MPI_Comm comm); Функція MPI_Barrier визначає колективну операції і, тим самим, при використанні повинна викликатися всіма процесами використовуваного комунікатора. При виконанні функції MPI_Barrier виконання процесу блокується, продовження обчислень процесу відбудеться тільки після виклику функції MPI_Barrier всіма процесами комунікатора.