Иллюстрация (сообщение 1000 байт)
Тор имеет наилучшую масштабируемость при передаче с буферизацией
Многие технологии его используют
Рассылка от одного всем и редукция
Одна машина передает данные всем – рассылка
Все машины передают данные одной и одна выполняет операцию с этими данными - редукция
Централизованная схема рассылки и редукции
Один процессор – главный
Остальные рабочие
Рассылка один процессор по очереди передает данные всем
Редукция – все процессоры передают данные одному
ВремяНе эффективно!
Эффективный способ широковещательной рассылки
Процессор 1 имеет данные, которые нужно передать всем остальным
Топология гиперкуб – принцип сдваивания
(1 2)
[тепер процесори 1 і 2 містять дані]
(1 3), (2 4)
[тепер процесори 1, 2, 3, 4 містять дані]
(1 5), (2 6), (3 7), (4 8)
[тепер всі процесори містять дані]
2 4
3 1 
6 8 5 
7
Широковещательная передача в модели бинарного дерева
(1,2) |
|
|
|
|
(1,3)(2,4) |
|
1 |
|
3 |
(2,5)(3,6) |
|
2 |
|
|
|
|
|
|
|
(3,7) |
4 |
5 |
6 |
7 |
|
|
|
||
|
|
|
|
Эффективность широковещательной передачи для разных топологий
Графическая иллюстрация
Самая эффективная топология – шина
Тор и гиперкуб почти не отличаются
bcast(p,m)
здійснює широкомовну передачу повідомлення m з вузла p.
Все процессоры вызывают эту функцию
Аккумуляция и редукция на одном узле
Редукция на узле 1
Для гиперкуба
(2 1, d1+=d2: d1=d1+d2), (4 3, d3+=d4: d3=d3+d4), (6 5, d5+=d6: d5=d5+d6), (8 7, d7+=d8: d7=d7+d8)
(3 1, d1=d1+d3: d1=d1+d2+d3+d4), (7 5, d5=d5+d7: d5=d5+d6+d7+d8)
(5 1, d1=d1+d5: d1=d1+d2+d3+d4+d5+d6+d7+d8)
2 4
3 1 
6 8 5 
7
Особенность редукции
Суммирование в результате выполняется в нужном порядке
Можно реализовать любую функцию со свойствами ассоциативности
Перемножение матриц
Обобщенная передача от всех всем
Каждый процессор имеет свое сообщение, его необходимо передать остальным
Рассмотрим задачу для гиперкуба
i-й процессор имеет данные di
2 4
3 1 
6 8 5 
7