Глава 6. Архитектура процессоров с параллелизмом уровня команд

6.1 Подходы к использованию ресурса транзисторов в микропроцессорах

Повышение производительности микропроцессоров достигается за счет увеличения тактовой частоты, совершенствования параллельной и конвейерной обработки данных, а также уменьшения времени доступа к памяти. В настоящее время возможно проектирование микропроцессоров с несколькими сотнями миллионов транзисторов на кристалле. Уверенно просматривается перспектива увеличения количества транзисторов до миллиарда. Возросший объем транзисторов может быть использован для построения функциональных устройств микропроцессора или для увеличения объема внутрикристальной кэш-памяти или для того и другого. Возможно также создание новых классов кристаллов – однокристальных параллельных систем.

Прирост объема кэш-памяти дает эффект лишь до определенного объема, пока удается локализовать блоки исполняемого кода и блоки данных. Если, например, имеется большой объем данных, превышающий возможный размер кэш-памяти, и адреса обрабатываемых данных вырабатываются в ходе вычислений, то кэш-память будет только постоянно обновлять запрошенные строки, что приведет к потере производительности.

Память представляет собой ресурс, не производящий непосредственно вычислений, поэтому привлекательным выглядит использование ресурса транзисторов кристалла для построения совокупности функциональных устройств. Основное препятствие на пути повышения производительности за счет увеличения количества функциональных устройств – это загрузка устройств полезной работой.

Идея распараллеливания вычислений основана на том, что большинство задач может быть разделено на набор меньших задач, которые могут быть решены одновременно. Обычно параллельные вычисления требуют координации действий. Параллельные вычисления использовались много лет в основном в высокопроизводительных вычислительных системах, но в последнее время к ним возрос интерес у производителей микропроцессоров вследствие существования физических ограничений на рост тактовой частоты процессоров. Параллельные вычисления стали доминирующей парадигмой в архитектуре многоядерных процессоров.

Писать программы для параллельных систем сложнее, чем для последовательных, так как конкуренция за ресурсы порождает явление гонок (кто быстрее обратится к памяти), что является причиной появления нового вида ошибок в программном обеспечении. Взаимодействие и синхронизация между процессами представляют большой барьер для получения высокой производительности параллельных систем.

Если при вычислении не применяются циклические (повторяющиеся) действия, то N вычислительных модулей никогда не выполнят работу в N раз быстрее, чем один единственный вычислительный модуль. Какое-то время часть вычислителей будет заниматься распределением работы других модулей, синхронизацией процессов, сборкой результатов и т.п., и не участвовать непосредственно в полезной работе.

Для получения точных показателей параллелизма программ воспользуемся моделью многопоточного выполнения, представленной в виде направленного ациклического графа НАГ (directed acyclic graph, DAG). В модели НАГ выполнение многопоточной программы рассматривается с точки зрения групп инструкций (вершины НАГа), а ребра отражают зависимости между инструкциями. Если инструкция x должна завершиться перед тем, как может начаться инструкция у, то будем обозначать это как x < y. Если инструкции могут выполняться параллельно, будем обозначать это как х ∥ у. На рисунке 6.1 представлен многопоточный НАГ. Из этого рисунка видно, что, например, 1 < 2, 6 < 12 и 4 ∥ 9.

Существуют три характеристики НАГа, которые позволяют точно определить его параллелизм.

1. Участок (span) – самый длинный путь зависимых инструкций графа. Участок графа на рисунке 23 равен 9, что соответствует пути 1→ 2→ 3→ 6→ 7 → 8 → 11→ 12 → 18. Этот участок НАГа иногда называют “длиной критического пути”. Поскольку участок определяет минимальное число инструкций, которые должны быть выполнены последовательно, то, приняв, что издержки на коммуникацию, планирование и т.д. равны нулю и время выполнения инструкции одной вершины НАГа равно 1, мы получим, что минимальное время выполнения рассматриваемой многопоточной программы T_min = S, где S – участок НАГа. В нашем примере T_min = 9.

2. Обозначив буквой  долю вершин НАГа, которые нужно выполнять последовательно, 01, (в нашем примере  = 9/18 = 0,5), можно выразить закон Амдала, гласящий, что производительность процессора (вычислительной системы) при использовании p вычислителей увеличится в K раз по отношению к производительности процессора (вычислительной системы) с одним вычислителем:

.

Заметим, что граничные значения  соответствуют полностью параллельной (=0) и полностью последовательной (=1) программе.

3. Максимальное число вычислителей p_max требуемых для организации параллельных вычислений многопоточной программы равно ширине НАГа – количеству вершин в самом широком месте графа. В нашем примере p_max = 5 ( вершины 5,7,9,15,17). Однако максимальное число p_max не всегда является оптимальным, так как в тех местах, где НАГ имеет ширину меньше максимальной, часть вычислителей будет простаивать. Поэтому можно использовать меньшее число вычислителей и загружать их по возможности все сразу после прохождения самого широкого места НАГа для выполнения инструкций тех вершин самого широкого места, которые не были выполнены.

В нашем примере вместо пяти вычислителей достаточно четырёх и даже трёх для выполнения программы за минимальное время T_min = 9. При использовании двух вычислителей для выполнения программы потребуется уже 11 единиц времени, а при использовании одного вычислителя – 18 единиц времени.