khor32

4.4. Массово-параллельные вычислительные системы Cray

рый посылает импульсы одновременно и в ВУ, и в узлы ввода и вывода. Генератор работает на частоте 150 МГц.

Для синхронизации параллельных вычислительных процессов (реализуемых в различных ЭП) в ВС Cray т3Д имеются специальные аппаратур-

ные средства. Эти средства распределенные, т. e. они организуются из спе-

циальных локальных схем поддержки синхронизации, расположенных в

элементарных процессорах.

B системе Cray т3D осуществлена аппаратypная реализация механизмов синхронизации «барьер» и «эврика» (Barrier/Eureka). Для реализации

механизма «барьер» в каждой ветви параллельной программы задается точка синхронизации, при достижении которой каждый элементарный процессор должен ждать до тех пор, пока остальные ЭП не дойдут до своих точек, и лишь после этого все процессоры могут продолжать работу дальше. Ясно, что такая синхронизация требуется перед осуществлением коллективны обменов информацией между ветвями параллельной программы (см. разд. 3.3.5). Механизм синxронизaции «эврика» реализует, по сути, операцию перехода в параллельных процессах, если из них даже только один достиг

точки синхронизации. Механизмы синхронизации необходимы для реализа-

ции программирования, характерного и для SIMD-, и для MLMD-архитектyp. эффективность системы Cray т3D. Не претендуя на полнотy иссле-

дования, оценим эффективность ВС Cray т3D по Амдалу. Закон Амдала обычно применяют при оценке ускорения векторных ВС (c конвейерной ор-

ганизацией вычислений). Система Cray т3D относится к ВС c массовым па-

рaллелизмом, вместе c тем она принадлежит к числу изделий фирмы Cray

Research Inc., поэтому по Амдалу рассчитывают и ее эффективность.

B табл. 4.1 приведены максимальные значения для коэффициента ускорения

по Амдалу:

где b доля последовательных вычислений при реализации программы; n число элементарных процессоров.

173

4. Конвейерные вычислительные системы

Из табл. 4.1 видно, что ускорение тем выше, чем меньше доля последовательных вычислений. Избежать последовательных участков в параллельнои программе нельзя; в самом деле, в программе всегда присутствуют сугубо последовательные действия, например инициализация и операции ввода-вывода. Однако результаты, приведеннь [е в табл. 4.1, заставляют задуматься и над основным: как достичь при работе на ВС c массовым параллелизмом линейной зависимости ускорения от числа элементарных процес-

соров? Резюмируя опыт работы пользователей Cray ТЗ D, a главноe, опираясь

на наши отечественные результаты по параллельному программированию, можно заключить, что кардинальный путь пов iшения эффективности ВС c массовым параллелизмом связан c методикой крупноблочного распараллеливания сложных задач (см. разд. 3.3.б).

4.4.2. Вычислительная система Cray ТЗЕ

Система c массовым параллелизмом Cray ТЗЕ создана c учетом опыта

создания и эксплуатации ВС Cray T3D. Она была построена в 1995 г. Коли-

чество элементарных процессоров в ВС достигает 2048, производительность

2,76 TFLOPS, емкость памяти 1 Тбайт. Цена 128-процессорной конфигу-

рации Cray ТЗЕ составила 3...4 млн долл.

Производительность ВС определяется как количеством процессоров, так и возможностями базового микропроцесссра. Выделяют несколько мо-

дификаций ВС: Cray ТЗЕ, Cray ТЗЕ- 900, Сraу ТЗЕ- 1200, Cray ТЗЕ-1200Е, Cray ТЗЕ-13 5 0, c тактовыми частотами от 300 до 675 МГц. Барьер произво-

дительности 1 TeraFLOPS, т. e. 1012 операций с плавающей запятой в секун-

ду над 64-разрядными данными, был опек вые преодолен на системе Cray ТЗЕ-1200 в 1998 г.

Архитектура ВС Cray ТЗЕ относится к классу MIMD, но она более развитая по сравнению c совместимой архитектурой Cray T3D. Отметим две

архитектурные особенности Cray ТЗЕ:

• мультипрограммирование возможност ь одновременной реализации нескольких параллельных программ на различных подсистемах;

• масштабируемость варьируемость ксличества элементарных процессоров с квантом 4 или 8 (производятся модулями с 4 или 8 ЭП в зависимости от вида охлаждения ВС, воздушного или жидкостного).

Следует отметить, что в ВС Cray ТЗD был реализован только моно-

пpогpаммный режим. Следовательно, если для решения какой-либо задачи не

требовались все ресурсы ВС, то имели место п )остои неиспользованных ЭП.

В Cray ТЗЕ мультипрограммирование позволят избежать простоев элемен-

тарных процессоров. Далее, в системе Cray Т3 D допускались конфигурации только c числом ЭП, кратным 32. В системе Cray ТЗЕ существенно шире

174

4.4. Массово-параллельные вычислительные системы Cray

возможности по формированию конфигураций, адекватны сферам приме-

нения.

Функциональные структуры ВС Cray T3D и Cray ТЗЕ на макроуровне

полностью идентичны. Каждая из них представляется композицией множе-

ства ВУ, коммуникационной сетью в виде трехмерного тора, каналов ввода-

вывода и средств синхронизации. Однако при технической реализации

Cray ТЗЕ нашли место новшества. Рассмотрим архитектурные возможности ВС Cray ТЗЕ подробнее.

Вычислительный узел Cray ТЗЕ. Ядром элементарного процессора

ВУ (см. рис. 4.б) в любой модификации Cray ТЗЕ служит микропроцессор семейства DEC 21164 Alpha. Остановимся на спецификации микропроцессора для модификации ВС Cray ТЗЕ-1350, т. e. DEC 21164 Alpha (EV5.6):

Элементарный процессор располагает своей локальной памятью, емкость которой варьируется от 64 до 512 Мбайт (в зависимости от

модификации ВС, в частности). B системе Cray ТЗЕ-1350 локальная па-

мять ЭП составляет 250.. .512 Мбайт и формируется из 64-Мбайтных

ДААМ-схем.

B вычислительном узле ВС Cray ТЗЕ в отличие от ВУ системы Cray T3D предусмотрена специальная связь (Link) для непосредственного подключения

устройств ввода-вывода (УВВ) информации (см. рис. 4.6). Эта связь предосгавляет потенциальную возможность подюпочения к любому ВУ внепппiх средств. Однако далеко не все ВУ должны оснащаться устройствами вводавывода. Если же такое подкJпочение имело место, то устройство ввода-вывода становилось обццпи ресурсом для четырех вычислительных узлов.

Коммуникационная сеть Cray ТЗЕ. Сеть межузловых связей

Cray ТЗЕ представляет собой трехмерный тор c двунаправленными канала-

ми (см. рис. 4.7). Она имеет малое время задержки при пересылке сообще-

ний (обладает низкой латентностью, Latency) и характеризуется значительной шиpиной . полосы пропускания. Так, например, модификация Cray ТЗЕ-13 5 0

имеет быстpодействие 650 Мбайт/с в каждом из двух направлений передачи

информации. данная сеть в 3-4 раза превосходит по быстродействию ана-

логичнyю сеть Cray T3D.

Каналы ввода-вывода Cray ТЗЕ. B системе Cray ТЗЕ реализована

возможность осуществлять обмен информацией c внешней средой через множество каналов ввода-вывода (портов).

175

4. Конвейерные вычислительнь2е системы

Каналы ввода-вывода ВС Cray ТЗЕ и тегрированы в трехмерную коммуникационную сеть так, что их количесво всегда пропорционально

числу элементарных процессоров в любой ко:iфигурации системы. Таким

образом, при масштабировании ВС происходит и адекватное масштабирование пропускной способности каналов ввода-вывода.

Ясно, что все каналы ввода-вывода (все ix узлы ввода и вывода) Cray

ТЗЕ закоммутированы в два гигакольца (GigaRings), данные по которым

перемещаются в противоположных направлениях. Суммарная пропускная способность этих гигаколец равна 1 Гбайт/с; N:аксимальная полоса пропускания любого интерфейса гигакольца составляет 500 Мбайт/с.

Конструктивные особенности системы Cray ТЗЕ. Вычислительная система Cray ТЗЕ изготовляется в двух варианГw,ах корпусов : c воздушным и жидкостным охлаждением. B первом варианте конструктивный модуль для компоновки (масштабирования) ВС представляется платой из четырех элементарных процессоров, a при применении жидкостного охлаждения подобный модуль имеет две платы (8 ЭП). Следовательно, в системах c воздушным или жидкостным охлаждением масш табирование осуществляется на величину, кратную 4 или 8 ЭП соответстве: -но. При этом каждая 4-про- цессорная плата имеет только один вывод на разъем корпуса для ее включения в гигакольцо ввода-вывода.

B корпусе c жидкостным охлаждением (например, Cray ТЗЕ-1350)

размещается 272 ЭП, из которых 256 ЭП являются основными, a остальные 16 ЭП составляют избыточность (резерв). Следовательно, на каждые 16 основных ЭП предусматривается один избыточный процессор. Максимальная конфигурация ВС Cray ТЗЕ размещается в вос ьми корпусах и насчитывает 2176 элементарных процессоров, из которых число основных ЭП равно 2048.

Ясно, что в любой конфигурации Cray Т:JЕ избыточность оценивается

6,25 %, и она используется компонентами операционной системы и обеспечивает высокий уровень надежности ВС в цело: vi.

Программное обеспечение Cray ТЗЕ. Архитектурные особенности

МРР-систем потребовали от Cray Research Inc. разработки нового ПО, учи-

.,

тывающего мировой опыт и традиции в парaллельном программировании, a

также в программировании РУР-систем Cray.

Операционная система UNICOS/mk, разработанная для ВС Cray ТЗЕ,

является распределенной и масштабируемой версией UNICOS (последняя

использовалась в PVP-системах: Cray-1, Cray X-МР, Cray-2; UNICOS в

свою очередь, производная от системы UNIX).

Масштабируемая ОС (Sса1аЫе Operating System) UNICOS/mk разделе-

на на программы серверы, распределенные по элементарным процессорам ВС Cray ТЗЕ. Локальные серверы ОС оС рабатывают запросы, специфичные для каждого ЭП ВС. Глобальные серверы обеспечивают общесис-

176

4.4. Массово-параллельные вычислительные системы Cray

темные возможности, такие как управление процессами и файловые операции. Последние серверы размещаются в специальных системных ЭП и не дублируются в пределах ВС.

Система UNICOS/mk поддерживает масштабируемую архитектуру

ввода- вывода Cray ТЗЕ. Она использует стандартные yтилиты и команды

ОС UNIX, следовательно, она обеспечивает знакомую операционную среду

для пользователей и администраторов.

Средства программирования Cray ТЗЕ:

• языки программирования и компиляторы: FORTRAN 90, C и C++, они

используются для написания программ и их преобразования в эквивалентные объектные программы (на машинном языке);

• пакет поддержки параллельного программирования МРТ (Message Passing Toolkit) реализует взаимодействия между ветвями параллельной

программы. Пакет включает широко применяемые интерфейсы передачи

сообщений: MPI, MPI-2 и РVМ;

• отладчик (Cray Total View Debugger) используется для отладки прикладных параллельных программ на уровне исходного текста. Он позволяет

пользователям отображать и анализировать информaцию o параллельны процессах;

• интерактивная среда (Cray Program Browser) применяется для отобра-

жения и редактирования файлов и прикладных программ;

• обучающая система (МРР Apprentice) дает рекомендации по повыше-

нию производительности МРР-системы, отображает данные по производительности и интерпретирует их;

• библиотеки оптимизированных параллельных пpикладных программ.

B результате многолетней работы фирмы Cray Research Inc. по развитию

архитектуры средств обработки информации пройден путь от канонической конвейерной ВС до ВС c массовым параллелизмом. Последние системы c достаточной полнотой основываются на модели коллектива вычислителеи (см. § 3.1). По архитектуре они вплотную подошли к распределенным ВС c программируемой структурой, архитектурно гибкие обра.зцы которых были разработаны и построены еще в середине 1970-x годов. Отделом вычислительных систем Сибирского отделения АН СССР совместно c промышленными организациями (см. гл. 7).

4.4.3. Вычислительная система Cray ХТЗ

Массово-параллельную вычислительную систему Cray XTЗ произво-

дит один из лидеров в области cyпepкoмпьютepoв — Cray Inc. (основана в

2000 r.). B конфигурациях системы Cray XTЗ число элементарных пpoцec-

177

4. Конвейерные вычислительны e системы

емкость памяти 239 Тбайт.

Вычислительная система Cray ХТЗ предст авляется композицией множества элементарны процессоров трехмерной тор )идальнои структуры и системы ввода-вывода информации.

Элементарный процессор Cray ХТЗ. Эл ^ментами структуры ВС явля-

ются вычислительные и сервисные элементам оные процессоры (Processing Elements). Независимо от функционального наз:.ачения в состав каждого ЭП

входит локальный коммутатор (называемый С ray SeaStar), микропроцессор AMD Opteron и локальная память. Помимо названных компонентов в сервисном ЭП имеются две 64-разрядные шины (Dual PCI-X) для взаимодействия c

системой ввода-вывода информации.

Локальный коммyтатор (ЛК) SeaStar сложное функциональное устройство, реализованное на одной БИС. Он предназначен для выполнения высокоскоростной маршрутизации и обменов информацией (как межпроцессорньх, так и внутри ЭП). B состав ЛК входят: коммуниi :ационный процессор (Сотти- nications апд Management Processor), высокоскоро ктной сетевой маршрутизатор (Interconnect Router), канал HyperTransport, коне роллер прямого доступа к памяти DMA (Direct Метогу Access), a также серви сный порт.

Сетевой маршрутизатор работает c шест ъю межпроцессорными каналами связи и тем самым обеспечивает непосредственную связь данного ЭП c шестью соседними ЭП по трем направления м X, Y, Z в ЗД-торе. Пиковая

пропускная способность каждого меж процессорного канала в двунаправленном режиме составляет 7,6 Гбайг/с. Маршрутизатор реализует также протокол коррекции ошибок и повтори юй передачи информации по межпроцессорным каналам.

Канал HyperTransport служит для связи т икропроцессора данного ЭП c

коммуникационной сетью Cray ХТЗ (следовательно, со всеми остальными ЭП). Пропускная способность данного канала 6,4 Гбайт/c.

Контроллер DMA обеспечивает (без как {-либо прерываний микропроцессора) доступ к локальной памяти данного ЭП другим элементарным про-

цессорам через коммуникационную сеть Cray х ТЗ . Контроллер DMA и операционная система функционируют совместно, чтэ дает возможность минимизировать латентность коммуникационной сети.

Сервисный порт кристалла SeaStar позволяет системе обеспечения надежности и управления получить доступ к его регистрам через специальную

супервизорную сеть Cray ХТЗ . Данные средств. i необходимы для осуществления начальной загрузки, теxнического обслужим вания, обеспечения надежности и мониторинга суперВС Cray ХТЗ.

Для компоновки элементарных процессоров могут быть применены лю-

бые 64-разрядные микропроцессоры семейства . AMD Opteron (включая одно- и двухъядерные Single or Dual Core).

178

4.4. Массово-параллельные вычислительные системы Cray

Локальная память каждого ЭП Cray ХТЗ составляет 1...8 Гбайт, скорость

обращения микропроцессора к локальной памяти 6,4 Гбайт/c. Коммуникационная сеть Cray ХТЗ. Структура сети межмапптнных

связей Cray ХТЗ является традиционной для мРР-систем фирмы Cray трех- мерньй тор (3D-тop). B вершинах такой тороидальной структуры находятся локaльные коммутаторы SeaStar.

Коммуяикaционная сеть Cray ХТЗ харакгеризуется высокой пропускной способностью (7,6 Гбайт/c), низкой латентностью (средним временем задержки при межпроцессорньх обменах около З нс).

Конструктивные особенности системы Cray ХТЗ. ВС Cray ХТЗ ком- понуется из стоек, в каждой из которых может размещаться до 9б элементар ньх процессоров. Возможные конфигурации ВС и их характеристики пред- c в табл. 4.2.

*При использовании одноядерного процессора, 2,4 ГГц.

**При применении двухъядерного процессора, 2,6 ГГц.

При формировании ВС Cray ХТЗ используют конструктивные модули двух типов вычислительные и сервисные (Compute anд Service Blades)Пер.-

вые модули включают в себя четыре вы слительных ЭП, a вторые два сер-

висньх ЭП. Количество ЭП, находящихся в модуле, и определяетлцнимальньпи фрагмент дня масштабировагпия структуры ВС.

Размер стойки 204,5 х 57,2 х 144,1 смз, ее масса 694 кг, потребляемая мощность 14,5 кВт.

Программное обеспечение Cray ХТЗ. B состав программного обеспечения Cray ХТЗ входят масштабируемые операционная система UNICOS/1c и среда программирования. Операционная система UNICOS/1с (модифициро- ванная UNICOS/mk, позволяющая эффективно функционировать конфигу-

рациям до 120 000 процессорнык ядер).

Основу системы UNICOS/1с составляют два компонента микроядро для вычислительных элементарных процессоров и полнофункциональная

ОС для сервисньх ЭП.

179

4. Конвейерные вычислительные системы

Среда программирования для суперВС С^ау ХТЗ представлена компи-

ляторами FORTRAN 77, 90, 95 и C, C++, комм уникационными библиотека-

ми (в частности, MPI 2.0), математическими библиотеками программ и др. Cray ХТЗ. Су-

перВС Cray ХТЗ оснащена аппаратурно -програ мной системой CRMS (Cray RAS and Management System; RAS Reliability, Availability, Serviceability

надежность, готовность, обслуживаемость), которая обеспечивает мониторинг, идентификацию неисправностей и восстановление. B состав CRMS входят специальные управляющие процессоры и гигабитная супервизорная сеть, a также программный комплекс, размещенной в рабочей станции. B каждой стойке установлено 24 процессора длл управления вычислительными и сервисными модулями и один процессор для связи c рабочей станцией.

Система CRMS осуществляет мониторннг всех основных и аппара-

турных, и программных компонентов Cray ХТ^. Кроме того, CRIS контро-

лирует включение и выключение электропитан ия и последовательность начальной загрузки, управляет коммуникационнои сетью и выводит на дисплей информацию o состоянии ВС для системного администратора.

Система С^Мs независимая, ее рабс та не отвлекает ресурсы ВС, занятые при выполнении пользовательских программ.

Система ввода-вывода Cray ХТЗ. Си,.тема ввода-вывода суперВС является высоко масштабируемой параллельной файловой системой. Она реализована как массив дисков, подключенны к сервисным элементарным процессорам. Высоконадежные диски со световодными каналами и контроллеры обеспечивают скорость ввода-вывода информации до 100 Гбайт/c.

Вычислительная система Cray ХТ4. СуперВС Cray ХТ4 является

генерацией МРР-систем 2007 г., созданных Cray Inc. Данная ВС полно-

стью совместима c Cray ХТЗ, но формируется из многоядерных микро-

процессоров (в частности, из четырехъядерныр: AMD Opteron).

Конфигурация системы Cray ХТ4, состоящая из 23016 процессорных

ядер, характеризуется пиковой производите пьностью 119,35 TeraFLOP S (101,7 TFLOPS на тестовом наборе UNPACK ). Она занимает вторую позицию в 29-й редакции списка top500 и эксплу атируется в США (Oak Ridge National Laboratory) c 2007 г.

Cray Inc. планирует создать конфигурация о Cray ХТ4 из 120 000 процессорных ядер, обладающую пиковой производитЕ,льностью свыше 1 PetaFLOPS.

4.5. Cверхвьсокопроизвсдительнье

вычислительные системы семейства Cray X

Семейство сверхвысокопроизводителi ных BC Cray X разрабаты-

вается Cray Inc. B конце 2002 г. анонсированы две модели: Cray X 1 и

180

4.5. Cверхвысокопроизводительные вычислительные системы семейства Cray X

Cray X2 соответственно c производительностью порядка 5 10 13 опер./c и

8 10 14 опер./c.

Система Cray X 1 относится к числу самых высокопроизводительны

средств обработки информации первого десятилетия XXI в. Ее рассматри-

вают как промежуточный этап в решении стратегической проблемы США (и, в

частности, корпорации Cray) достичь к 2010 г. скорости вычислен й

1 PFLOPS, т. e. одного квадриллиона или 10 15 операций c плавающей запя-

той в секунду. Данная проблема была поставлена в 1999 г. в докладе Прези-

дентского консультационного комитета по информационным технологиям

(President's Information тechnology Advisory Commi ttee). B СШA считается,

что создание высокопроизводительных ВС осуществляется исключительно

в интересах национальной безопасности (!).

Вычислительная система Cray X 1 предназначается как для академических, так и прикладных исследований, для решения сверхтрудоелцсих (high-end) задач науки, техники, экономики и военной сферы. Разработка ВС Cray X 1

получила поддержку от нескольких организаций правительства США,

включая Агентство национальной безопасности (NSA National Security Agency).

4.5.1. Особенности архитектуры Cray X1

Максимальная конфигурация BC Cray X 1 состоит из 4096 элементарных процессоров (или 49 152 вычиcлитeлeй, среди которых 32 768 вектор-

ных конвейеров и 16 384 cкaляpныx блоков). Она имеет пpoизвoдитeльнocть 52,4 TFLOPS и память емкостью 16...64 Tбaйт. Вес такой кoнфиrypaцин BC

составляет примерно 230 т (при вoздyшнoм охлаждении) или 170 т (при жидкoм хладагенте). Цена 16-пpoцeccopнoй BC (204,8 GFLOPS) составляет

16,4 млн дoлл.

Система Cray X 1 была официально анонсирована в ноябре 2002 r. Первые поставки Cray X1 (в упрощенных конфигурациях, но допускающих модернизацию) произведены в конце 2002 — начале 2003 r. K числу первых организаций, которые приобрели конфигурации Cray X1, относятся: Hayч- нo-иccлeдoвaтeльcкий центр высокопроизводительных вычислений армии США (AHPCRC — U.S. Army High Performance Computing Research Center),

Иcпaнcкий национальный институт метеорологии (Spain's National Institute of Meteorology), Oyк-Pиджcкaя национальная лаборатория (ORNL — Oak Ridge National Laboratory) Отдела энергетики США (U.S. Department of Energy).

Вычислительная система Cray X1 — это MIMD-cиcтeмa c общей распределенной памятью (Distributed Shared Memory). B системе Cray X 1 просматривается иерархия уровней ее фyнкциoнaльнoй структуры, opraнизo-

181

4. Конвейерные вычислительные системы

ванной по принципу матрешки. Действительнс , в вычислительный элемент фиксированного уровня вкладывается компо2 иция элементов очередного нижнего уровня. Модель коллектива вычисл ителей реализована на всех

иерархических уровнях функциональной струк' уры Cray X 1.

B архитектуре Cray X 1 нашли отражение л можество достижений из раз-

личных классов ВС (см. разд. 3.4.2), включая как РУР-, так и МРР-систeмы. данная ВС основывается на тороидaльной топологии и имеет широкую полосу

пропускания и низкую латентность (малые задержки при передаче информации

междy ресурсами). Cray X 1 характеризуется высокой надежностью и живуче-

стью, a также масштабируемостью. Диапазон] возможны конфигураций,

производительности и емкости памяти Cray X 1 с оответственно равны: 8...4096 процессоров, 102,4 GFLOPS...52,4 TFLOPS и 32 Гбайт...64 Тбайт.

B систему Cray X 1 вложен новейший набор команд, активные иссле-

дования по которому велись в корпорации Cray в течение 10 лет. Считается, что архитектура ВС c этим набором команд будет отвечать достижениям в

интегральной технологии, по крайней мере, в течение десятилетия. Набор

команд Cray X 1 весьма прост, в нем нет слом сных и избыточных инструк-

ций. Он рассчитан на использование очень больших регистровых файлов, поддерживает 64- и 32-разрядные вычисления, реализует новый механизм синхронизации, обеспечивающий масштабируемость ВС и др. B результате

Cray X 1 обладает рядом преимуществ по срагнению c другими архитектурами cyпepкoмпьютepoв:

•высоким вычислительным параллелизм ом (при низкой пропускной способности инструкций);

•незначительной сложностью управления ,

•небольшим энергопотреблением, соотнс -сенным к одной операции в секунду;

•низкой латентностью.

Таким образом, архитектура ВС Cray X ] позволяет формировать кон-

фигурации, адекватные областям применения, параметрам решаемых суперсложных задач.

Система Cray X 1 это композиция множества мультипроцессорных

вычислительных узлов, коммуникационнои с ети между узлами и средств

ввода-вывода данных. Среда программирования Cray X 1 поддерживается

специальным сервером.

4.5.2. Вычислительный уз^л Cray X1

Вычислительная система Cray X 1 может иметь в своем составе от 2 до

1024 однородных вычислительных узлов (Вц) . B каждом ВУ имеется четыре ЭП и распределенная общедоступная оперативная память (рис. 4.8).

182