2.6 The MapReduce programming model 2.6 MapReduce бағдарламалау моделі

MapReduce is a distributed programming model originally designed and imple- MapReduce бөлінген бағдарламалау бастапқыда арналған модель мен іске болып табылады

mented by Google for processing and generating large data sets [ 4] . өңдеу үшін Google біздерді және ірі деректер жиынын генерациялау [ 4] .

The model is built over two simple functions, map and reduce, that are моделі болып табылады, екі қарапайым функцияларын салынған салыстыруға және азайту отыр

similar to the functions “map” and “reduce” present in functional languages функцияларына ұқсас «картаға» және функционалдық тілдерінде қазіргі «азайту»

like Lisp [ 16] . Lisp [сияқты 16] .

The Google MapReduce programming model has proved to be performant Google MapReduce бағдарламалау үлгісі өнімді болып шықты

since the simple principle of “mapping and reduce” allows a high degree of paral- «карталау және азайту» қарапайым қағидасы paral- жоғары дәрежесін береді, өйткені

lelism with little costs of overhead. үстеме аз шығындармен lelism. Today the Google's MapReduce framework Бүгін Google-дың MapReduce база

is used inside Google to process data on the order of petabytes on a network of желісінде петабайт тәртібі туралы деректерді өңдеуге Google ішінде пайдаланылады

few thousand of computers. компьютерлер бірнеше мың.

In this programming model all the information is encoded as tuples of the Бұл бағдарламалау үлгісі барлық ақпаратты жинақтарын ретінде кодталған

form <key,value>. нысаны <пернесі, мән>.

The workflow of a MapReduce job is this: first, the map function processes бір MapReduce тапсырманың жұмыс үрдісі осы болып табылады: бірінші, карта функциясы процестер

the input tuples returning some other intermediary tuple <key2,value2>. кейбір басқа делдалдық қойылуы <key2, value2> қайтып енгізу луын. Then Содан кейін

the intermediary tuples are grouped together according to their key. делдалдық луын олардың кілті сәйкес топтастырылады. After, Кейін,

each group will be processed by the reduce function which will output some new Әр топ шығу кейбір жаңа болады функциясын азайту арқылы өңделетін болады

tuples of the form <key3, value3>. түрінде <key3, value3> туралы луын.

2.6.1 Example: Counting occurences of words 2.6.1 Мысал: сөздерден санау напастей

Let's take a simple problem that is often used to explain how MapReduce works Ның жиі қалай MapReduce жұмыстарды түсіндіру үшін пайдаланылатын қарапайым мәселені алайық

in practice. іс жүзінде. The problem consists in counting the occurrences of single words Мәселе бір сөздер дайларын санау тұрады

within a text and it can be solved by launching a single MapReduce job. мәтін ішінде және ол бір MapReduce тапсырмасын іске қосу арқылы шешілуі мүмкін.

As first we convert the input text in a sequence of tuples that have both as Бірінші ретінде біз де бар жинақтарын бір ретпен енгізу мәтінді түрлендіру

key and value all the words of the text. негізгі және мәтіннің барлық сөздерін бағалаймыз. For example the sentence “MapReduce Мысалы, сөйлем «MapReduce

is a programming model.” will be converted in five tuples each containing one бағдарламалау үлгісі болып табылады. «бес жинақтарын әрбір бар бір айырбастауға болады

word of the sentence both as key and as value. сөйлемнің сөз кілті ретінде және құндылығы ретінде.

Then we define the map algorithm as follows: for every tuple in input of Одан кейін біз картасы алгоритм анықтайды: енгізу әрбір реттелуіне арналған

the form <word,word>, the algorithm returns an intermediate tuple of the form түрінде <сөз, сөз> алгоритм түрінде аралық қойылуы қайтарады

<word, 1>. <Сөз, 1>. The key of this tuple is the word itself while 1 is an irrelevant value. 1 қатысы жоқ мән болып табылады, ал бұл ретінің кілт сөзді өзі болып табылады.

After the map function has processed all the input, the intermediate tuples Картада функциясы, аралық кортежи барлық енгізуді өңделген соң

will be grouped together according to their key. олардың кілті сәйкес топтастырылған болады. The reduce function will simply жай функцияны болады азайту

Page 17 Page 17

2.6. 2.6. THE MAPREDUCE PROGRAMMING MODEL MAPREDUCE бағдарламалау моделі

17 17

Number If... Егер саны ...

then... содан кейін ...

1 1

p rdf:type owl:FunctionalProperty P RDF: түрі үкі: FunctionalProperty

v owl:sameAs w V үкі: sameAs W

upv UPV

upw upw

2 2

p rdf:type owl:InverseFunctionalProperty v owl:sameAs w P RDF: түрі үкі: InverseFunctionalProperty V үкі: sameAs W

vpu ВПУ

wpu WPU

3 3

p rdf:type owl:SymmetricProperty P RDF: түрі үкі: SymmetricProperty

upv UPV

vpu ВПУ

4 4

p rdf:type owl:TransitiveProperty P RDF: түрі үкі: TransitiveProperty

upv UPV

upw upw

wpv ДПВ

5a 5a

upv UPV

u owl:sameAs u U қисап: sameAs U

5b 5B

upv UPV

v owl:sameAs v V үкі: sameAs V

6 6

v owl:sameAs w V үкі: sameAs W

w owl:sameAs v W үкі: sameAs V

7 7

v owl:sameAs w V үкі: sameAs W

v owl:sameAs u V үкі: sameAs U

w owl:sameAs u W үкі: sameAs U

8a 8а

p owl:inverseOf q P үкі: inverseOf Q

wqv wqv

vpw vpw

8b 8b

p owl:inverseOf q P үкі: inverseOf Q

wpv ДПВ

vqw vqw

9 9

v rdf:type owl:Class V RDF: түрі үкі: Class

v rdfs:subClassOf w V rdfs: subClassOf W

v owl:sameAs w V үкі: sameAs W

10 10

p rdf:type owl:Property P RDF: түрі үкі: Жылжымайтын мүлік

p rdfs:subPropertyOf q P rdfs: subPropertyOf Q

p owl:sameAs q P үкі: sameAs Q

11 11

upv UPV

xpy xpy

u owl:sameAs x U қисап: sameAs X

v owl:sameAs y V үкі: sameAs у

12a 12a

v owl:equivalentClass w V үкі: equivalentClass W

v rdfs:subClassOf w V rdfs: subClassOf W

12b 12b

v owl:equivalentClass w V үкі: equivalentClass W

w rdfs:subClassOf v W rdfs: subClassOf V

12c 12C

v rdfs:subClassOf w V rdfs: subClassOf W

v rdfs:equivalentClass w V rdfs: equivalentClass W

w rdfs:subClassOf v W rdfs: subClassOf V

13a 13a

v owl:equivalentProperty w V үкі: equivalentProperty W

v rdfs:subPropertyOf w V rdfs: subPropertyOf W

13b 13B

v owl:equivalentProperty w V үкі: equivalentProperty W

w rdfs:subPropertyOf v W rdfs: subPropertyOf V

13c 13C

v rdfs:subPropertyOf w V rdfs: subPropertyOf W

v rdfs:equivalentProperty w V rdfs: equivalentProperty W

w rdfs:subPropertyOf v W rdfs: subPropertyOf V

14a 14A

v owl:hasValue w V үкі: hasValue W

u rdf:type v U RDF: Type V

v owl:onProperty p V үкі: onProperty P

upv UPV

14b 14b

v owl:hasValue w V үкі: hasValue W

upv UPV

v owl:onProperty p V үкі: onProperty P

u rdf:type v U RDF: Type V

15 15

v owl:someValuesFrom w V үкі: someValuesFrom W

u rdf:type v U RDF: Type V

v owl:onProperty p V үкі: onProperty P

upx UPX

x rdf:type w X RDF: түрі W

16 16

v owl:allValuesFrom w V үкі: allValuesFrom W

x rdf:type w X RDF: түрі W

v owl:onProperty p V үкі: onProperty P

u rdf:type v U RDF: Type V

upx UPX

Table 2.2: ter Horst OWL reasoning rules 2.2-кесте: Хорст OWL пайымдаулар ережелер кейін

Page 18 Page 18

18 18

CHAPTER 2. BACKGROUND 2-тарау АНЫҚТАМА

Algorithm 1 Example: counting words occurences Алгоритм 1 Мысал: санау сөздер напастей

map( key , value ) : Картада (басты, мәні):

//key : word // Пернесі: сөз

// value : word // Мәні: сөз

output . шығару. collect ( key , 1) (пернені, 1) жинау

reduce( key , iterator values ) : (кілтін итератора мәндерін) азайту:

count = 0 0 = санау

for value in values құндылықтар құны бойынша

count = count + 1 1 + санау = санау

output . шығару. collect ( key , count ) жинау (негізгі, санау)

count the number of tuples in the group because the number of tuples reflects жинақтарын саны көрсетеді, өйткені тобында жинақтарын санын

the number of times the mappers have encountered that word in the text. рет саны картография мәтінде сөз тап. It Бұл

will output the result in a tuple of the form <word,count>. нысандағы мәндер шығу нәтиже <сөз санауға> болады. This tuple encodes Бұл кортеж кодталады

the number of times that the word “word” appears in the input text. сөз «сөз» енгізу мәтін пайда болады, сол кезде саны. An overall Жалпы

picture of this particular job execution is given in figure 2. 2 while in Algorithm Бұл, атап айтқанда, тапсырма орындау сурет суретте берілген . 2 2 алгоритмі, ал

1 we report the pseudo code for this example. 1 , біз осы, ​​мысалы жалған код есебі.

Figure 2.2: Execution of the word count example 2.2-сурет: сөздің орындалуы мысал санау

2.6.2 Parallelism of the job execution Тапсырма орындау 2.6.2 Параллелизм

The map and reduce functions work only with a small fraction of the input and карта және функцияларын азайту енгізу шағын фракциясының ғана жұмыс істейді және

do not need to have access to other data. басқа деректерге қол жеткізу болуы қажет емес. Therefore the execution of these two Осы екі Сондықтан орындау

functions can be efficiently distributed on several nodes after we have split the біз бөлінеді кейін функциялары тиімді бірнеше түйіндер таратылады болады

input in chunks of equal size. тең мөлшерде үстімен енгізу. Hadoop сады сияқты MapReduce шеңберінде бірге

пайдаланушы аясында кейбір жұмыс орындарын бере алады және негіздемелік орындайды

барлық техникалық детальдарды қамқорлық жетімді түйіндердегі оларға.

Page 19

2.6. MAPREDUCE бағдарламалау моделі

19

Бір MapReduce тапсырмасының типтік орындау 2-суретте бейнеленген .3. Бірінші The

магистрі (Hadoop жағдайда «jobtracker» деп атайды) бірнеше кірісін жарылатын

кесек, содан кейін ол жұмысшыларға бойынша тапсырмалар картасы орындалуын тағайындайды

барлық кіріс бөледі. қызметкерлер тағайындалды кіріс бөлу оқиды

оларды картасы алгоритмі кодын орындау және жергілікті олардың шығысын сақтаңыз.

шығыс реттелуіне негізгі және әрбір бөлім бойынша ыдырайтын болады

Белгілі бір азайту тапсырмасы өңделетін болады. база әрбір тағайындауға болады

қызметкерлердің міндеттерін азайту және олар қашықтан ақпаратты алып береді

олар азайту алгоритмі орындау мен шығару бойынша кортежи оралу қажет.

2.3 график: а MapReduce жұмысқа параллель орындау

2.6.3 бағдарламалау қаттылығы

Бұл парадигма қарапайымдылығы (бірінші азайту, содан кейін карта) негізін береді

тиімді бірнеше тапсырмаларды тарату, бірақ ол сондай-ақ жасайды қаттылық әкеледі үшін

бағдарламалау тұрғысынан сонша икемділік береді емес. Пайдаланушы істеу мүмкін емес

содан кейін тағы бір нәрсе картадан дәйектілігі мен азайту. Бұл негізгі бірі болып табылады

MapReduce бағдарламалау үлгісі кемшіліктері. Деректерді қайта жіберу

тек белгілі бір луын екі операциялар түрлендіргіш немесе процесіне шығу

мүмкін емес. Белгілі бір операциялар / азайту бір картасы кодталған мүмкін емес

дәйектілігі мен база қатаң болып табылады. кешенін жүзеге асыру үшін жалғыз жолы

операциялар бірнеше салдары жұмыс орындарын іске қосу болып табылады. біз жоғары қойылымдар

бағдарламалау қаттылық бағамен келіп қол жеткізуге болады.

MapReduce емдеуге қиын бірі, атап айтқанда, проблема шеңберін

жұмыс түрлі көздерден деректер арасындағы қосылу жүзеге тұрады. Осы

Page 20

20

2-тарау АНЫҚТАМА

біз ақпаратты әр түрлі кіру керек, өйткені операция қиын

оған арасындағы байланыс қорытынды мақсатында бір уақытта. Біз келсе, Мысалы,

сынып туралы ақпараты бар студент туралы ақпаратты қосылуға

біз бір мезгілде екі бөліктен қол жеткізу керек. MapReduce барлық

ақпарат мәндер <кілті, мән> және қамтылған ақпарат ретінде кодталған

Бір ретінің өзін-өзі қамтылған және тәуелсіз болуы тиіс; басқа сөздермен айтқанда

MapReduce көздейді, біз басқа да жинақтарын қамтылған ақпарат қажет емес,

Белгілі бір процесс. Бұл болжам база тиімді мүмкіндік береді

жұмысты қатарластыра, бірақ бұл нақты жағдайда, бұл, өйткені біз сияқты шектеу болып табылады

Кейбір пайымдау біз жасауға қабілетті болу үшін, алдыңғы бөлімдерде көрген

Сонымен қатар үш астам бір қол жеткізу керек.

2.7 Hadoop негіз

Hadoop база

8

Apache ұйымдастырған бір Java көзі ашық жоба болып табылады

Бағдарламалық қамтамасыз ету негізі және оның ірі салымшылар Yahoo! бірінде бар. Hadoop

MapReduce бағдарламалау үлгісін жүзеге асырады және ол тегін балама болып табылады

Жалпыға қол жетімді емес, Google-дың MapReduce база. Шынында

Hadoop ең танымал және пайдаланылатын MapReduce база болып табылады және бұл негізінен

оның салдарынан көзі ашық лицензия және жасалды қарқынды дамуына

соңғы жыл.

Hadoop негіздемелік компьютерлер желісі жұмыс істейді, және бұл пайдаланады

деректерді сақтау үшін бөлінген файлдық жүйесін. пайдаланушы кейбір іске қабілетті

Арасындағы орындалуын таратуға болады шеңберінде MapReduce жұмыс орны

желіде түйіндер. Типтік MapReduce жұмысқа кірісті оқиды

файл жүйесін тарату, оны өңдейді және артқы файлдық жүйеде шығуын жазады.

Hadoop мықтап жалғанғанын HDFS деп аталатын бөлінген файл жүйесін ұсынады

шеңберінде қалған. HDFS деректерді сақтау үшін ғана емес, таңдау

Hadoop, мысалы Amazon S3 сияқты басқа файл жүесін пайдалануға болады, өйткені, бірақ

HDFS Hadoop бар қатты біріктірілген және оны орнату және теңшеу үшін оңай болып табылады.

Hadoop қабылдаған бірінші іс-қимыл енгізу мәтінді талдау болып табылады және оны жарылатын

Олардың әрқайсысы бір түрлендіргіш арқылы өңделетін болады, кейбір фрагменттері, жылы

желі. (Барлық картография, сондықтан бұл фрагменттері бірдей бөлінеді

енгізу бірдей соманы алуға) түрлі машиналарда орындалады.

Аясында іске қосылған бағдарламаларға төрт түрлі түрлері бар. бірінші

«jobtracker» деп аталады және ол ұсынады және координаттары шебер сортты ретінде әрекет етеді

әр түрлі есептеу бірлік жұмыс орны орындау. «Namenode» болып табылады

бөлінген жүйесін HDFS үшін «jobtracker» ұқсас. namenode

ізін ұйымдастыру және жүргізу блоктарын идентификатор қамқорлық

түйіндер қызметі. «Tasktracker» шын мәнінде Әйүптің жасайды бағдарлама

есептеу. A tasktracker jobtracker берген жүктелген міндеттерді қабылдайды

және оған есеп Алынған нәтижелер. Әрбір есептеу түйіні

Желі оған жұмыс істейтін tasktracker бар. tasktracker ретінде көруге болады

желі қызметкері. соңғы «бағдарламасы datanode» болып табылады және ол бірдей

8 8

http://hadoop.apache.org/core/

Page 21

2.7. Hadoop НЕГІЗ

21

HDFS файл үшін «tasktracker». Hadoop монтаждау бар

кем дегенде бір jobtracker плюс көптеген tasktracker және жағдайда HDFS пайдаланады, бір

namenode плюс көптеген түрлі datanodes. Әдетте datanodes орындалды

tasktrackers бірдей машиналар, бұл қазіргі заманғы әрекет ететінін, сондықтан

Hadoop есептеу үшін де және HDFS сақтау үшін құл ретінде.

Тапсырма іске болады алдында ол дұрыс теңшелуі керек. шеңберін

жұмыс, оның түрлендіргіш көрсету үшін және қандай редукторы болуы тиіс пайдаланушы талап

Пайдаланылған және қалай кіріс және шығыс өңделген болуы тиіс.

A MapReduce тапсырма жинақтарын және кодталған ақпаратқа жұмыс істейді

деректер нақты табиғат жасырын болып табылады. Ол кіріс синглі арқылы тұрады болуы мүмкін

файлдар немесе кейбір деректер қорының кесте бойынша. A MapReduce тапсырма мәліметтерді ғана көреді

жинақтарын ретінде кодталған және деректерді нақты көзі белгісіз. Осы себеппен

Hadoop аударма I / O өңдеуге объектілердің кейбір нақты түрлерін пайдаланады

жинақтарын дәйектілігі олардың түпнұсқа форматында деректер. пайдаланушы теңшеу керек

Әйүп үшін пайдаланылуы тиіс, ол объектінің түрлері көрсетеді. Төрт бар

Бұл I / O тапсырма айналысатын объектілердің түрлері.

бірінші енгізу форматы деп аталады. Кіріс формат басында деп аталады

жұмысқа және оның мақсаттары, бірнеше енгізу ақаулығын үшін енгізу бөлуге болады

Тапсырманың әрбір түрлендіргіш. Бұл нысан әрбір енгізу үшін қайтарады нақты бөлу

енгізу кортежи алуға түрлендіргіш пайдаланылатын болады рекордтық оқырман. The

рекордтық оқырман оған берілді кіріс сплит мазмұнын оқиды және

ақпарат үшін байт бағдарланған көрінісі (файлдың мазмұны) тілінен аударғанда

ақпарат жинақтарын тізіміндегі тұрады «рекордтық бағытталған» көрінісі

нысаны <K, V>. Бұл луын картасы алгоритмі енгізу болады.

Шығысын жазу үшін пайдаланылатын нысандардың басқа екі түрі бар

жұмыс. Бұл екі шығыс пішімі және жазу жазушы болып табылады. бірінші форматтары

Тапсырманың шығу екінші жазу физикалық жазбалар шығарылған, ал

редукторлар арқылы.

Hadoop стандартты форматтары оқу және жазу үшін көптеген стандартты нысандарды ұсынады.

Мысалы, Hadoop FileInputFormat және деп аталатын енгізу форматын қамтиды

Кейбір файлдар деректерді оқу және жазу үшін FileOutputFormat. Пайдаланушы қажет болса

ол таңдамалы нұсқаларын жүзеге асыру мүмкін, атап айтқанда, осылайша preprocess үшін I / O

Осы заттар мен орнына стандартты бауырластардың оларды пайдалану.

Page 22

22

2-тарау АНЫҚТАМА

Page 23

3-тарау

Қатысты жұмыс

Бұл тарауда біз қысқаша кейбір тиісті жұмыс, сондықтан саласындағы атқарылған түсіндіреді

оқырман неғұрлым кең тұрғыда бұл тезис орналастыру мүмкін. Біріншіден, біз есеп береді

Интернетте қол жетімді кейбір қолданыстағы reasoners қысқаша сипаттамасы. Осы

бөлімінде жүргізіледі 3. 1. Содан кейін біз кейбір жұмысты сипаттайтын бөлімінде 3.2 жалғастырады

ірі ауқымда ой жүгірту туралы. Ақыр соңында, sectio жылы N 3. 3, біз кейбір жұмыстарды сипаттау

деректер сөздік кодтау қатысты.

3.1 Классикалық пайымдау

Openrdf-Сезам Java люкс [ 3 ] толық бірге RDFS reasoner ұсынады

түрлі сақтау және RDF деректер айла-шарғы жасау үшін база

форматтары. Сезам сондай-ақ басқа үшінші бөлігі мүмкіндік береді қосылатын модуль механизмін ұсынады

дәлелдер әр түрлі орындайды бағдарламалық жасақтама. Мысалы SwiftOWLIM

[14 ] Егер қосылатын модульді жад OWL PD * пайымдау мүмкіндік береді. Авторлар талап

Сезам тиісті бар машинада үштіктің 10-20 миллион жүктеуге болады

аппараттық

1 1

.

Java жазылған тағы бір база Jena [табылады 18] ереже негізіндегі қамтамасыз

шығару жүйесі. негіздемелік әдепкі бойынша RDFS reasoner және қамтамасыз етеді

толық емес OWL / Lite reasoner бірақ пайдаланушы қосу reasoners ұзартуға болады

Кейбір таңдамалы ережелері. БТ Jena деп аталатын persisten қабаты сақтау жүктеліп бар

Бір машинамен 36 сағат үштіктің 1,7 млрд

2 2

.

Пеллеттерді [2 5] және іс жүзінде ++ [29] OWL ДО істеу басқа екі бағдарламалар

пайымдау. Бұл reasoners әдетте материалдандыруға үшін пайдаланылмайтын

жаңа есептілігі, бірақ көп онтология консистенциясын немесе даналарын тексеру үшін

жіктелуі. Біз 1 көп деректер жинақтары бар бағдарлар таба алмады

жағдайларда млн, сондықтан олар үлкен деректер жинақтары бар ауқымды қалай түсініксіз.

Бағдарлама BigOWLIM [14] (а Жоғарыда меншік нұсқасы

SwiftOWLIM) 1 миллиардтан астам Triple пайдаланып күрделі әдістерін жүктеуге болады

1 1

http://esw.w3.org/topic/LargeTripleStoreshead-2bd211f37828030e68760a955240be22444d8910

2 2

http://esw.w3.org/topic/LargeTripleStoreshead-d27d645a863c4804acbbe268091681ec01ee9903

23

Page 24

24

3-тарау БАЙЛАНЫСТЫ ЖҰМЫС

диск кэштеу. Олар сондай-ақ бір машинаны пайдаланып OWL пайымдау қамтамасыз ету және

Олар [бойынша өз өнерлерін хабарлады 13] .

Кейбір эталондық құралдары мен қойылымдар бағалау әзірленді

reasoners. Осы бағдарларының Кейбір жасанды генерациялау құралдар тұрады

әр түрлі reasoners пайдаланылуы мүмкін деректер жиынтығы. Олардың бірі [LUBM болып табылады 7]

онда жоғары оқу туралы деректерді жасайтын бағдарлама болып табылады. Біз оны пайдаланды

Біздің OWL reasoner өнерін сынап көріңіз. Басқа ұқсас эталондық құрал болып табылады

UOBM [17 ], бұл OWL Lite және үкінің DL екі құрылысын қамтиды. Сонда

Сондай-ақ, SPARQL бар деректер жиындарын сұрау туралы көрсеткіштер: осы BSBM болып табылады

3 3

және SP2Bench [2 4] .

3.2 Ірі пайымдау

[11 ] OWL істеп фокусталады үкі reasoner сипаттамасын хабарлайды

веб Тексеріліп деректермен пайымдау. Біз оның ішінде идеясын қарыз

соңғы бір көп, өйткені сызба деректер данасы деректерді бөлу

аз және біз жадында оны жүктеу мүмкіндігі бар. Олар сондай-ақ жүзеге асырдық

Хорст фрагменті кейін, бірақ олар жарылыс әкелуі мүмкін барлық деректерді сүзу

төркіні. Бұл, өйткені олар деректер сүзу таңдау ынталандыру

үйлесімді стандартты және ғана емес веб кейбір деректерді табуға болады

онда туынды зор мөлшерде соқырлар ережелер нәтижелерін қолдану

негізінен мағынасы жоқ. Мақалада олар спектакль хабарлады