16 Вопрос. Причины уменьшения производительности компьютеров с распределенной памятью.

Начнем с уже упоминавшегося ранее закона Амдала. Для компьютеров данного класса он

играет очень большую роль. В самом деле, если предположить, что в программе есть лишь

2% последовательных операций, то рассчитывать на более чем 50-кратное ускорение

работы программы не приходится. Теперь попробуйте критически взглянуть на свою

программу. Скорее всего, в ней есть инициализация, операции ввода/вывода, какие-то

сугубо последовательные участки. Оцените их долю на фоне всей программы и на

мгновенье предположите, что вы получили доступ к вычислительной системе из 1000

процессоров. После вычисления верхней границы для ускорения программы на такой

системе, думаем, станет ясно, что недооценивать влияние закона Амдала никак нельзя.

Поскольку компьютеры данного класса имеют распределенную память, то

взаимодействие процессоров между собой осуществляется с помощью передачи

сообщений. Отсюда два других замедляющих фактора — латентность и скорость

передачи данных по каналам коммуникационной среды. В зависимости от

коммуникационной структуры программы степень влияния этих факторов может сильно

меняться.

Если аппаратура или программное обеспечение не поддерживают возможности

асинхронной посылки сообщений на фоне вычислений, то возникнут неизбежные

накладные расходы, связанные с ожиданием полного завершения взаимодействия

параллельных процессов.

Для достижения эффективной параллельной обработки необходимо добиться

максимально равномерной загрузки всех процессоров. Если равномерности нет, то часть

процессоров неизбежно будет простаивать, ожидая остальных, хотя в это время они

вполне могли бы выполнять полезную работу. Данная проблема решается проще, если

вычислительная система однородна. Очень большие трудности возникают при переходе

на неоднородные системы, в которых есть значительное различие либо между

вычислительными узлами, либо между каналами связи.

Существенный фактор — это реальная производительность одного процессора

вычислительной системы. Разные модели микропроцессоров могут поддерживать

несколько уровней кэш-памяти, иметь специализированные функциональные устройства и

т. п. Возьмем хотя бы иерархию памяти компьютера Cray T3E: регистры процессора, кэш-

память 1-го уровня, кэш-память 2-го уровня, локальная память процессора, удаленная

память другого процессора. Эффективное использование такой структуры требует

особого внимания при выборе подхода к решению задачи.

Дополнительно каждый микропроцессор может иметь элементы векторно-конвейерной архитектуры. В этом случае ему будут присущи многие факторы, которые мы обсуждали

в конце §3.2.

К сожалению, как и прежде, на работе каждой конкретной программы в той или иной

мере сказываются все эти факторы. Однако в отличие от компьютеров других классов,

суммарное воздействие изложенных здесь факторов может снизить реальную

производительность не в десятки, а в сотни и даже тысячи раз по сравнению с пиковой.

Потенциал компьютеров этого класса огромен, добиться на них можно очень многого.

Крайняя точка — Интернет. Его тоже можно рассматривать как компьютер с

распределенной памятью. Причем, как самый мощный в мире компьютер.