Суперкомпьютеры и системы. Мультипроцессоры. Учебное пособие

сти – идеально соответствовала принципам архитектуры ОКМД. Поэто­му в видеоакселераторах стали реализовываться специализированные потоковые процессоры, работавшие вначале по фиксированным заши­тым алгоритмам обработки графической информации. Затем с целью обеспечения большей степени гибкости в видеоакселераторах были реа­лизованы возможности загрузки программ обработки из центрального процессора. До середины 2000-х годов эти программы разрабатывались на узкоспециализированных языках обработки графической информа­ции. При этом производительность видеоакселераторов быстро росла и начала превосходить (и существенно) производительность центральных процессоров, правда только на ограниченном круге задач.

Технология CUDA основывается на аппаратной ОКМД-структуре, изображенной на рис. 4.2, и представляет собой синтаксическое рас­ширение языков С/С++ при помощи дополнительных спецификаторов (ключевых слов) переменных и функций, а также библиотек функций и механизма запуска ядер.

Графический процессор обычно содержит несколько (от единиц до десятков в зависимости от модели устройства) вычислителей – муль­типроцессоров в терминологии NVIDIA . Мультипроцессоры работают под управлением аппаратно реализованного планировщика блоков по­токов. На рис. 4.3 для примера показано размещение основных элемен­тов графического процессора NVIDIA с микроархитектурой Fermi. Этой микроархитектуре предшествовала Tesla, далее появились Kepler, Maxwell и Volta. Переход от одной микроархитектуры к другой сопро­вождается увеличением производительности чипа и уменьшением от­носительных энергозатрат на каждый выполняемый гига- (или тера-) флоп.

Мультипроцессор архитектуры Fermi содержит следующее:

ров в терминологии NVIDIA , их количество также зависит от модели устройства и колеблется от 16 до 192) для обработки целых чисел и чисел с плавающей запятой одинарной точности в режиме ОКМД;

Кроме совокупности мультипроцессоров кристалл графического процессора содержит общие для них элементы:

 уже упоминавшийся планировщик блоков потоков;

щейся вне чипа и обладающей существенно большим объемом, но зна­чительно меньшим (в 300–500 раз) быстродействием по сравнению с внутрикристалльной памятью;

Выборку данных для потоковых процессоров выполняет Fetch Unit, связанный с основной памятью через кэши L1 и L2 объемом 8 кБ и 128 кБ соответственно. Локальная память Local Data Store объемом 32 килобайта соответствует регистровому файлу в устройствах NVidia.

Чип содержит:

 высокопроизводительную широкую кольцевую шину для связи всех компонентов, находящихся внутри чипа;

Xeon Phi – реализация архитектуры Intel MIC (Many Inegrated Core или «большое количество ядер в одной микросхеме»), позволяющей ис­пользовать стандартный исходный код на языках C, C++ и FORTRAN и компилировать его для исполнения как на Xeon Phi, так и на любых компьютерах с процессорами Intel Xeon.

Использование графических процессоров и вычислительных акселе­раторов в составе и суперкомпьютеров, и обычных персональных ком­пьютеров сопряжено с возникновением ряда проблем и трудностей [15]. Они обусловлены принципиально иным соотношением последователь­ного / параллельного в вычислениях, чем в любых ранее существовавших параллельных системах. Возможность запуска десятков и сотен миллио­нов параллельных потоков вычислений без необходимости непрерывно координировать их работу радикально изменяют сами принципы про­граммирования. Неоднородность вычислительных средств, содержащих центральный многоядерный процессор и акселератор на основе ОКМД­принципов, приводит к необходимости решения задачи распределения нагрузки на этапе разработки алгоритма решения прикладной задачи. По­стоянно протекающие процессы интеграции разнотипных компьютерных компонентов в состав чипов центральных процессоров требуют тща­тельного анализа существующих тенденций при выборе направлений развития средств программирования акселераторов.

OpenACC – это еще более высокоуровневый подход к программиро­ванию ускорителей, который позволяет программистам снабдить код ди­рективами, сообщив тем самым компилятору, какие части кода требуется ускорить, выгружая их в графический процессор. Идея схожа с тем, как OpenMP используется для распараллеливания CPU-программ. Предпри­нимаются усилия к объединению этих двух подходов. OpenACC находит­ся на этапе созревания и в настоящее время поддерживается только не­многими компиляторами.

В силу того что высокая производительность GPU и MIC ускорите­лей обусловлена их ОКМД-природой, весьма вероятно, что их развитие пойдет путем предыдущих ОКМД-расширителей. Еще одно сходство с ОКМД – ключевая особенность технологии CUDA, сделавшая ее успешной. Она состоит в том, что CUDA скрывает ОКМД-сущность, характерную для графических процессоров, и позволяет программисту мыслить в терминах потоков, оперирующих скалярными данными, в то время как графический процессор работает в терминах варпов (warp), оперирующих векторами. Поэтому вполне вероятно, что ОКМД-ускори­тели в конечном итоге тоже будут перенесены на кристалл процессора.

улучшений, которые реализуются в последних версиях CUDA, OpenCL и аппаратных решениях NVIDIA GPU. И тем не менее для достижения хорошей производительности обычно требуется помощь программиста даже в таких высокоуровневых решениях, как OpenACC.

К сожалению, все упрощения, предлагаемые такими подходами, могут оказаться только частным решением. Учитывая, что будущие процессоры станут близки к сегодняшним (малым) суперкомпьютерам, вполне вероятно, что в них будет больше ядер, чем их сможет обслу­живать общая память. Весьма вероятно также, что на каждом кристал­ле будет реализовано несколько кластеров из потоковых ядер, а каж­дый кластер будет иметь собственную память. Кластеры будут связаны друг с другом сетью, выполненной на том же кристалле и использую­щей протокол, подобный MPI. Примером движения в этом направле­нии могут служить процессоры SW26010, на которых построен китай­ский суперкомпьютер TaihuLight, рассматриваемый во второй части пособия. Процессорные чипы будут содержать множество кластеров с собственной памятью. Каждый кластер будет состоять из многих ядер, при этом необязательно все ядра будут функционально идентичными. Каждое многопоточное ядро будет состоять из множества вычисли­тельных звеньев (т. е. функциональных блоков или АЛУ) и каждое вы­числительное звено будет выполнять ОКМД-инструкции.

Это поднимает крайне важный вопрос, как программировать такие устройства. Вполне возможно, что это будет развитием современных решений для многоядерных CPU, их ОКМД-расширителей и существу­ющих на данный момент акселераторов. Происходит это на трех уров­нях: