19 Сурет. Сm* есептеу жүйесінің сызбасы

NUMA-компьютерінің тағы бір мысалы максималды конфигурацияда 256 процессорды біріктірген BBN Butterfly компьютері болды (20 - сурет).

Компьютердің әрбір есептеу торабы процессордан, локальді желіден, жады контроллерінен тұрады. Ол сұраныстың локальді жадыға тиісті немесе оны Butterfly коммутаторы арқылы қашықтағы торапқа жіберу қажет екендігін анықтайды.

Бағдарламашының көзқарасы бойынша жады ортақ жалпы жады, ондағы қашыққа сілтемелер локальді сілтемелерден біршама ұзақ іске асырылады (шамамен 6мкс қашыққа, 2мкс локальді үшін).

Әрине, үлкен NUMA – компьютерлерін жасау жолымен алға қарай батыл жүре беруге болар еді, егер күтпеген бір проблема болмаса – ол жеке процессорлардың кэш-жадысы. Көп процессорлы жүйелер үшін, жеке процессорлардың жұмысын едәуір жылдамдатуға көмектесетін кэш-жады –тар орын болып табылады. Алғашқы NUMA – компьютерлерінің процессорларында кэш-жады болмағандықтан, мұндай мәселелер де туған жоқ болатын. Бірақ қазіргі заманғы микропроцессорлар үшін кэш-жады ажырамас құрамдас бөлік болып табылады. Біздің бұл мәселеге алаңдау себебімізді түсіндіру қиын емес. P₁ процессоры q ұяшығында х мәнін сақтаған делік, содан кейін Р₂ процессоры дәл сол q ұяшығындағы ақпаратты оқығысы келсін. Сонда Р₂ процессоры не алады? Әрине, ол х мәнін алса екен деріміз анық, бірақ Р₁ процессорының кэшіне түскен х мәнін ол қалай ала алады? Бұл мәселе, кэш-жады мазмұнының үйлесімділік мәселелері деген атқа ие (cache coherence problem, кэштің когеренттік мәселесі). Айтылған мәселе қазіргі заманғы SMP – компьютерлері үшін де актуалды, олардың да процессорлары кэші мәліметтерді пайдалануда сәйкессіздік туғызуы мүмкін.

Осы мәселені шешу үшін NUMA архитектурасының арнайы модификациясы – ссNUMA (cache coherence NUMA) жасалып шығарылды. Бұл жерде біз, барлық кэштер мазмұндарының үйлесімділігін қамтамасыз ететін көптеген хаттамалардың техникалық берілулеріне тоқталмаймыз.

Маңыздысы, бұл мәселе шешілетіні, пайдаланушыларға ауыртпалық әкелмейтіндігі. Пайдаланушы үшін басқа маңызды сұрақ: қаншалықты NUMA архитектурасы «біртекті емес»? Егер өз жадысына қарағанда, басқа тораптың жадысымен байланысқа 5-10% уақыт көп кетсе, онда бұл жағдайда ешқандай сұрақ болмауы да мүмкін.

20 Сурет. Bbn Butterfly есептеу жүйесінің сызбасы

Көпшілік пайдаланушылар бұл жүйеге UMA(SMP) сияқты қарайды және тәжірибе жүзінде SMP үшін құрылған бағдарламалар мұнда жеткілікті түрде жақсы жұмыс істей алады. Алайда, қазіргі заманғы NUMA жүйесі үшін тіпті олай емес, себебі локальді және қашыққа қатынас уақытының арасындағы айырмашылық 200-700% аралығын құрайды. Осындай қатынас жылдамдықтарының айырмашылығы кезінде, бағдарламалардың қажетті орындалу тиімділігін қамтамасыз ету үшін, талап етілетін деректерді дұрыс орналастыруға көп көңіл бөлу керек.

Қазіргі уақытта ссNUMA архитектурасы негізінде дәстүрлі ортақ жадылы компьютерлердің мүмкіндіктерін кеңейтетін көптеген нақты жүйелер шығарылуда. Егер жетекші өндірушілердің SMP серверлері конфигурациялары 16-32-64 процессорды құраса, онда олардың ссNUMA архитектуралы соңғы кеңейтілулері 256 және одан да көп процессорларды біріктіреді.

Параллель компьютерлердің архитектурасын жетілдіру және оларды бағдарламалық қамтамасыздандыруды дамыту қатар жүргізілді. Параллель есептеу жүйелерінің аппараттық және бағдарламалық құрамдарын дамытуды бір-бірінен бөліп қарауға болмайтынын тәжірибе көрсетті. Бір құрамдас бөлігіне жаңашылдық енгізу, басқасына да өзгеріс енгізуге тура келтіреді. Оған жақсы мысал, Cray T3D/T3E тұқымдас компьютерлерде, процестерді барьерлі синхрондауға аппараттық демеу болып табылады.

Ендігі бізді қызықтыратын ең бірінші мәселе – ол параллель бағдарламалау технологиясындағы өзгерістер. Әрине, қазіргі таңда бағдарламашылар қоржынында Ассемблер немесе Fortran ғана емес, көптеген жаңадан құрастырылған жүйелер және бағдарламалау тілдері бар екені белгілі. Алайда, қазіргі уақытта, тиімді параллель бағдарламалық қамтама құрастыру, параллель есептеудегі басты мәселе болып табылады.

Сонымен, бір есепті шешуге бірнеше процессорларды қалай жұмылдыруға және мәжбүрлеуге болады? Бұл сұрақ алғашқы параллель компьютерлердің шығуымен бір уақытта пайда болды, бүгінгі күні әртүрлі бағдарламалау технологияларының тұтас спектрі жинақталған. Нақты технологиялардың толығырақ мазмұны 2-бөлімде баяндалады, мұнда біз негізгі бағыттарды сипаттаумен шектелеміз.

Бастапқы тізбекті бағдарламаларға «параллель» спецификасын қосатын арнайы комментарилерді, дәстүрлі бағдарламалау тілдерінде пайдаланудан бастайық. Айталық, сіз Cray T90 векторлы-конвейерлік компьютерінде жұмыс істейсіз. Қолданудағы бағдарламаның кейбір циклінің барлық итерациялары бір-біріне тәуелсіз екені белгілі болса, онда оны «векторлауға» болады, яғни векторлық командалар көмегімен конвейерлік функционалды құрылғыларда өте тиімді орындауға болады. Егер цикл қарапайым болса, онда тізбекті кодты параллель кодқа айналдыру мүмкіндігін компилятордың өзі де анықтай алады. Егер компилятордың жоғары интеллектілігіне сенімділік болмаса, онда цикл басына векторлау мүмкіндігінің және тәуелсіздігінің жоқтығына айқын белгі қою керек.

Дербес жағдайда, Fortran бағдарламалау тілінде (Fortran бағдарламалау тілі параллель есептеуде жиі қолданылатынын айта кету керек) бұл былайша көрсетіледі:

CDIR$ NODEPCHK

Fortran тілінің ережесі бойынша бірінші позициядағы ´С´ әріпі ағымды жолдың комментарий екенін, ´DIR$´ тізбегі компилятор үшін арнайы комментарий екенін, ал ‘NODEPCHK’ бөлігі - орындалып жатқан циклдің итерациялары арасында ақпараттық тәуелділіктің жоқтығын көрсетеді.

Арнайы комментарийлерді пайдалану параллель орындалу мүмкіндігін ғана қосып қоймай, сонымен қатар бағдарламаның алдыңғы нұсқасын да толық сақтайды. Тәжірибе жүзінде бұл өте ыңғайлы, мысалы, егер компилятор параллельділік туралы ештеңе білмесе, онда ол бағдарламаның тізбекті семантикасын негізге ала отырып, арнайы комментарилердің бәрін ескермей өткізіп жібереді

Қазіргі уақыттағы кең тараған OPEN MP стандарты да комментарийлерді пайдалануға негізделген. Мұнда ортақ жадымен, жіптермен жұмыс істеуге және параллельділікті айқын сипаттауға басты бағдар жасалған.

FORTRAN тілінде OPEN MP арнайы коммментаридің белгісі !SOMP префиксі болып табылады, ал С тілінде «#pragma omp» директивасы қолданылады. Қазіргі күні SMP–компьютерлерінің барлық жетекші өндірушілері өз платформаларындағы компиляторларда OPEN MP-ді қолдайды.

Параллель бағдарламаларды алу үшін арнайы комментарилерді пайдаланумен қатар, қолданыстағы бағдарламалау тілдерін жетілдіруге де жиі баруда. Пайдаланушыға бағдарламаның параллельді құрылымын анық тапсыруға және кейбір жағдайларда параллель бағдарламаны басқаруға мүмкіндік беретін қосымша операторлар және айнымалыларды сипаттаудың жаңа элементтері енгізіледі.

High Performance Fortran (HPF) тіліне, FORTRAN тілінің дәстүрлі операторлары және арнайы комментарилеріне қоса, бағдарламаның параллель циклдерін сипаттау үшін енгізілген FORALL жаңа операторы кіреді. Сонымен қатар, мысал ретінде РАН жүйелік программалау Институтында құрастырылған, ANSI C кеңейтілуі болып табылатын mpC тілін айтуға болады. mpC тілінің негізгі мақсаты (қызметі) – біртекті емес есептеу жүйелеріне арналған тиімді параллель бағдарламаларды құру.

Параллель жүйелер архитектурасының спецификасын немесе қайсібір пәндік аумақтың қандай да бір есептер класының қасиеттерін дәлірек беру үшін, параллель бағдарламалаудың арнайы тілдерін қолданады. Транспьютерлік жүйелерді бағдарламалау үшін Occam тілі құрылды, ал ағынды машиналарды бағдарламалау үшін бір ретті меншіктеу тілі Sisal жобасы жасалынды. М. В. Келдыш атындағы қолданбалы математика Институтында И. Б. Задыхайлоның басқаруымен құрастырылған декларативті НОРМА тілі (есептеулерді торлық әдістермен жүргізуде пайдаланылды) өте қызықты және ерекше тіл болып саналады. Тілдің жоғары деңгейлі абстракциясы, математиктің мәселені бастапқы қоюына жуық нотацияда есептерді сипаттауға мүмкіндік береді, оны тілдің авторлары шартты түрде бағдарламашысыз бағдарламалау деп атайды. Тілде есептеу ретін бекітетін сонымен қоса, алгоритмнің табиғи параллельділігін жасыратын дәстүрлі бағдарламалау тілдерінің конструкциясы жоқ.

Массивті-параллель компьютерлердің пайда болуынан бастап, параллель процестердің ара-қатынасын қолдайтын кітапханалар мен интерфейстер кең тарай бастады. Осы бағыттағы типтік представитель, әрбір параллель платформада, яғни векторлы-конвейерлі супер ЭЕМ-нан бастап, дербес компьютерлік желілер мен кластерлерге дейін іске асырылған интерфейс Message Passing Interface (MPI) болып табылады. Мұнда, қосымшаның қандай параллель процестері бағдарламаның қай жерінде және қандай процестермен мәліметтер алмасатынын немесе өз жұмысын синхрондайтынын бағдарламашы өзі анықтайды. Негізінде параллель процестердің адрестік кеңістігі әртүрлі. Осы идеологияға сәйкес деп MPI мен PVМ-ді айтуға болады. Басқа технологияларда, мысалы Shmem, қосымшаның барлық процестеріне бірдей қолжетімді жалпы (shared) айнымалыларды да, локальді (private) айнымалыларды да қолдануға мүмкіндік береді.

Linda жүйесінде параллель бағдарлама құру үшін кезкелген тізбекті тілге төрт қосымша функция in, out, read, eval қосса жеткілікті. Өкінішке орай, бұл идеяның қарапайымдылығы оны іске асыруда үлкен мәселелерге тірейтіндіктен, бұл технология тәжірибелік құралдан гөрі академиялық қызығушылық обьектісіне алмастырылады.

Тәжірибе жүзінде қолданбалы бағдарламашылар көбіне айқын параллельді конструкцияларды мүлдем қолданбайды, қажет кезінде бағыныңқы бағдарламалар мен параллель пәндік кітапханалар функцияларын пайдаланады. Бар параллельділік және бар оптимизация шақыруларда жасырылған, ал пайдаланушыға стандартты блоктарды тиімді пайдалана отырып өз бағдарламасының тек сыртқы бөлігін ғана жазу қалады. Осыған ұқсас кітапханаларға Lapack, ScaLapack, Cray Scientific Library, HP Mathematical Library, PETSc және көптеген т.б. жатады.

Сонымен, ендігі айтылатын ең соңғы бағыт – бұл арнайы пакеттер мен бағдарламалық кешендерді пайдалану. Бұл жағдайда, пайдаланушыға бағдарлама құрудың мүлдем қажеті жоқ. Негізгі мәселе – барлық керекті енгізілетін деректерді дұрыс көрсете алу және пакеттер функционалдығын дұрыс пайдалана білу. Осылай, көптеген химиктер квантты-химиялық есептеулерді параллель компьютерлерде жүргізу үшін GAMESS пакетін пайдаланады, алайда олар параллель өңдеудің қалай іске асырылаты туралы ойланбайды да.

Сонымен, алдыңғы параграфтардағы айтылғандарды қорытындылай келе, параллель компьтерлердің аппаратурасы және бағдарламалық қамтамасындағы соңғы бірнеше он жылдықтағы үлкен өзгерістерге өз бағасын беруіміз қажет. Осы өзгерістердің нәтижесінде, қазіргі күнгі пайдаланушылар, өте күрделі есептерді шығаруға мүмкіндік беретін қуатты есептеу жүйелеріне ие болды. Алайда, тәжірибе көрсеткендей, жалпы параллель есептеу жүйелеріне қатысты мәселелер толық жойылған жоқ, олар басқа деңгейге көшті десе болады. Егер алғашқы кезде, бірнеше қарапайым компьютерді тиімді пайдалану сұрағы қойылса, ал қазір жүздеген, мыңдаған және он мыңдаған процессорлардан тұратын жүйелердің тиімділігі туралы мәселе қойылуда. Мұнда әрбір процессордың өзі де күрделі параллель жүйе екенін ескеру қажет.

Сұрақтар және тапсырмалар

1. Екі есептеу жүйесіне орнатылған операциялық жүйелердің версияларында ғана айырмашылық болсын. Осындай компьютерлерде орындалған бірдей бағдарламаның жұмыс уақыттарында айырмашылық болуы мүмкін бе?

2. Егер 10000 жолдан тұратын бағдарлама текстінде бір символды ғана өзгертсе, онда оның жұмыс уақыты 10 есе өсуі мүмкін бе?

3. Егер 10000 жолдан тұратын бағдарлама текстінде бір символды ғана өзгертсе, онда компьютер өнімділігі 10 есе өсуі мүмкін бе?

4. Арнайы процессор синхронды жұмыс жасайтын бір биттік процессорлардан тұратын матрица делік. Осындай арнайы процессорларда қандай класты есептерді тиімді шешуге болады?

5. Соңғы микропроцессорларда суперскалярлық және VLIW-өңдеу идеясынан басқа тағы қандай параллельділік түрлері машиналық команда деңгейінде пайдаланылады?

6. Қандай процессор (суперскалярлық немесе VLIW) үшін компилятор, тиімді бағдарламаларды генерациялау үшін «интелектуалды» болуы қажет?

7. Үлкен көлемді процессорларды біріктіру үшін, неге ортақ шинаны қолданбайды?

8. «Линейка» топологиясы бойынша байланыстырылған n процессорлы жүйеде екі торап арасындағы жолдың орташа ұзындағы неге n|3-ке тең?

9. Байланыс структурасы «кольцо» топологиясына жақсы сәйкес келетін алгоритмге мысал келтіріңіз.

10. Омега-сети көмегімен 64 процессорды байланыстыру үшін, 4*4 айырып/қосқыштарының минимум қаншауы қажет етіледі?

11. «Үшөлшемді тор» топологиясында әрбір процессордың қанша тікелей көршілері бар?

12. Процессорлар арасындағы ара-қашықтық дегенді қалай түсінеміз?

13. «Үшөлшемді тор» 4×8×8 топологиясында процессорлар арасындағы максимал арақашықтық нешеге тең?

14. «Екіөлшемді тор» m×n топологиясында процессорлар арасындағы максимал арақашықтық нешеге тең?

15. SMP-компьютерінен NUMA архитектуралы компьютерге көшкен кезде пайдаланушы нені ескеруі қажет?

16. Әлемдегі ең қуатты компьютерлердің соңғы тізіміндегі (Тор500) қай компьютерде процессорлар саны көп және қанша?

17. MPI немесе OpenMP бағдарламалау технологияларының қайсысы таратылған жадылы компьютерлерге жақсы сәйкес келеді? SMP- компьютерлерге ше?