Page 1 Page 1

master thesis магистрлік диссертация

RDFS/OWL reasoning using the Пайдалана отырып, RDFS / OWL пайымдау

MapReduce framework MapReduce база

Jacopo Urbani Якопо URBANI

July 2, 2009 2 шілде 2009 ж

Supervisor: Ғылыми жетекшісі:

Eyal Oren Eyal Oren

Second reader: Екінші оқырман:

Frank van Harmelen Frank ван Harmelen

Vrije Universiteit - Faculty of Sciences Вриже университеті - ғылымдар факультеті

Dept. of Computer Science Информатика кафедрасы

De Boelelaan 1081, 1081 HV - Amsterdam De Boelelaan 1081, 1081 HV - Амстердам

Page 2 Page 2

2 2

Acknowledgments Алғыстар

The value of the master thesis goes beyond its scientific content since it sum- Магистрлік диссертацияны мәні өйткені оның ғылыми мазмұны шеңберінен шықпайтын Қорытынды жиналысқа

marizes the work of five years of education. білім бес жыл жұмыс marizes. In my particular case this thesis Менің нақты жағдайда осы диссертация

symbolically represents all the years spent between Venice, Vienna and Ams- символикалық Венеция, Венада және Ams- арасында өткізген барлық жыл білдіреді

terdam, with all the gained amount of experience and personal development. тәжірибесі мен жеке дамудың барлық жинаған сомасы terdam.

My master project took more or less six months. Қожайыным жоба алты ай немесе одан кем алды. This document reports Бұл құжат есептер

only the final outcome, leaving out everything that is behind it. тек соңғы нәтижесі, оған артында бәрін жүзеге қалдырып. My thesis is Менің тезис болып табылады

also made by many emails, meetings, hours spent in reading articles, testing and Сондай-ақ, көптеген электрондық пошта, кездесулер, оқу мақалалар өткізді сағат, тестілеу арқылы жасалған және

debugging. отладка. During this time I had the honor to work with many great persons Осы уақыт ішінде мен көптеген үлкен адамдармен жұмыс құрметіне ие болды

and I want to thank all of them, for their support and patience. Мен олардың қолдауы мен шыдамдылық, олардың барлығы алғыс айтқым келеді.

More in particular my first thanks go to Eyal, my supervisor, that helped me Толығырақ айтқанда, менің алғашқы арқасында көмектесті, бұл менің басшым, Эяль өтіңіз

through all the development of this thesis, whatever the problem was. Диссертациялық барлық дамыту арқылы, кез келген проблема болды. He tried Ол тырысты

to teach me two of the nicest virtues in the scientific world: conciseness and маған ғылыми әлемдегі ең жақсы қасиеттерімен екі үйрету: лаконизм және

clarity. айқындық. I hope I have learned them well. Мен сондай-ақ оларды үйрендім деп үміттенемін. This thesis received also a crucial help Бұл тезис, сондай-ақ маңызды көмек алды

from Spyros Kotoulas. Spyros Kotoulas түскен. Without his observations and critics this work could not Оның байқаулар мен сыншылары бұл жұмыс емес еді

be done. жасалуы.

I also would like to thank Frank van Harmelen who offered me a job and Мен сондай-ақ маған жұмыс ұсынды және кім Франк Ван Harmelen алғысымды білдіргім келеді

financial support for my work. Менің жұмыс үшін қаржылық қолдау. Without his support, my life would have been Оның қолдауысыз, менің өмірім еді

much more complicated. әлдеқайда күрделі.

A special thanks goes to all the users of the DAS3 cluster, who patiently Ерекше алғыс шыдамдылықпен DAS3 кластердің барлық пайдаланушыларға, барады

accepted my constant abuses of the cluster when I was running the tests and, Мен тест жүгіру болған кезде кластер менің тұрақты теріс пайдалануға қабылданады және,

more in general, to all the researchers who wrote all the literature or programs барлық әдебиетті былай деп жазды зерттеушілер немесе бағдарламаларға, жалпы көп

that are related to this thesis. осы диссертация байланысты. It is because of their previous work that I could Себебі, бұл менің қолымнан, олардың бұрынғы жұмыс болып табылады

do mine. кенішін істеу.

My thanks go also to some people outside the university starting from my Менің арқасында менің бастап университеттің тыс кейбір адамдар үшін, сондай-ақ барып

family for all the precious support and advices they gave me. барлық асыл және қолдау, олар маған берді кеңестер отбасы. I also would like Мен сондай-ақ қалаймын

to thank my friends, that kept me away from my work once a while. менің достарымыздың, бұл біраз уақыт бір рет алыс жұмысымның мені сақталады.

At last, but not least, my immense gratitude goes to my girlfriend Elsbeth, Кем дегенде соңғы, бірақ менің үлкен алғыс, менің Подруги Elsbeth барады

who let me work also in the weekends and gave me the moral support I needed. кім маған, демалыс күндері, сондай-ақ жұмыс істеу және маған қажетті моральдық қолдау берді.

This thesis is dedicated to her. Бұл тезис оған арналған.

Page 3 Page 3

Contents Мазмұны

1 Introduction 1 Кіріспе

5 5

1.1 Outline . . . 1.1 Outline. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6 6

1.2 Parallel and distributed reasoning . . . 1.2 параллель және таралған пайымдау. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6 6

2 Background 2 Фонды

9 9

2.1 Reasoning . 2.1 пікір алысу. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9 9

2.2 Semantic Web and XML . 2.2 Семантикалық Веб және XML. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 10

2.3 RDF . 2.3 RDF. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 12

2.4 RDF Schema . 2.4 RDF схемасы. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13

2.4.1 RDFS reasoning . . . RDFS пайымдау 2.4.1. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13

2.5 OWL . 2.5 OWL. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 15

2.5.1 OWL reasoning . OWL пайымдау 2.5.1. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 15

2.6 The MapReduce programming model . 2.6 MapReduce бағдарламалау моделі. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 16 16

2.6.1 Example: Counting occurences of words . . . 2.6.1 Мысал: сөздерден санау напастей. .. . . . . . . . . . . . . . . 16 16

2.6.2 Parallelism of the job execution . . . Тапсырма орындау Параллелизм 2.6.2. .. . . . . . . . . . . . . . . . . . . . . . . . . 18 18

2.6.3 Programming rigidity . . . Бағдарламалау қаттылығы 2.6.3. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 19

2.7 The Hadoop framework . 2.7 Hadoop негіз. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 20

3 Related work 3 Байланысты жұмыс

23 23

3.1 Classical reasoning . . . 3.1 Классикалық пайымдау. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 23

3.2 Large-scale reasoning . . . 3.2 ауқымды пайымдау. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 24

3.3 Dictionary encoding . . . 3.3 Сөздік кодтау. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 25

4 Dictionary encoding as MapReduce functions MapReduce функцияларын 4 сөздік кодтау

27 27

4.1 Why do we need dictionary encoding . . . 4.1 Неге біз сөздік кодтау керек. .. . . . . . . . . . . . . . . . . . . . . . . . . . . 27 27

4.2 Dictionary encoding using MapReduce and a central database . 4.2 Сөздік MapReduce пайдалана кодтау және орталық деректер базасы . . . 28 28

4.3 Dictionary encoding using MapReduce and a distributed hashtable 29 MapReduce пайдаланып 4.3 Сөздік кодтау және бөлінген Hashtable 29

4.4 Dictionary encoding using only MapReduce . . . Тек MapReduce пайдаланып 4.4 Сөздік кодтау. .. . . . . . . . . . . . . . . . . . . 30 30

4.4.1 Overview . . . Шолу 4.4.1. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 30

4.4.2 First job: assign number to the URIs . . . 4.4.2 Бірінші тапсырма: URI идентификаторлары нөмірді тағайындаңыз. .. . . . . . . . . . . . . . . . . . . 30 30

4.4.3 Second job: rewrite the triples . Екінші тапсырманы 4.4.3: үштіктің жазып . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 32

4.4.4 Using a cache to prevent load balancing . Жүктемені теңгеру болдырмау үшін кэшті пайдалану 4.4.4 . . . . . . . . . . . . . . . . . . . 33 33

3 3

Page 4 Page 4

4 4

CONTENTS МАЗМҰНЫ

5 RDFS reasoning as MapReduce functions MapReduce функциялары 5 RDFS пайымдау

35 35

5.1 Excluding uninteresting rules . . . 5.1 неинтересно ережелер қоспағанда. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 35

5.2 Initial and naive implementation . . . 5.2 Бастапқы және аңғалдық іске асыру. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 36

5.2.1 Example reasoning job . . . Тапсырманы негіздеме 5.2.1 Мысал. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 36

5.3 Second implementation . 5.3 Екінші іске асыру. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 37

5.3.1 Rule's execution order . . . Ереже орындау ретін 5.3.1. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 38

5.3.2 Loading the schema triples in memory . . . 5.3.2 жадында схема үштіктің жүктеу. .. . . . . . . . . . . . . . . . . 40 40

5.3.3 First job - apply transitivity rules . Бірінші тапсырманы 5.3.3 - транзитивность ережелерін қолдануға . . . . . . . . . . . . . . . . . . . . . . . . . 41 41

5.3.4 Second job . . . Екінші тапсырманы 5.3.4. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 42

5.4 Third and final implementation . . . 5.4 Үшінші және қорытынды іске асыру. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 43

5.4.1 Generation of duplicates . . . Телнұсқаларын 5.4.1 буын. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 46

5.4.2 First job: subproperty inheritance . 5.4.2 Бірінші тапсырма: subproperty мұраға . . . . . . . . . . . . . . . . . . . . . . . . . 46 46

5.4.3 Second job: domain and range of properties . 5.4.3 Екінші тапсырма: домен мен қасиеттері диапазоны . . . . . . . . . . . . . . . 47 47

5.4.4 Third job: cleaning up duplicates . . . Үшінші жұмысты 5.4.4: телнұсқаларын тазарту. .. . . . . . . . . . . . . . . . . . . . . . . 50 50

5.4.5 Fourth job: execute subclasses rules . Төртінші жұмысты 5.4.5: сыныбында ережелерін орындау . . . . . . . . . . . . . . . . . . . . . . . 50 50

5.4.6 Fifth job: further process output special rules . Бесінші тапсырма 5.4.6: одан әрі процесс шығу арнайы ережелер . . . . . . . . . . . . . 51 51

6 OWL reasoning as MapReduce functions MapReduce функцияларын 6 OWL пайымдау

55 55

6.1 Overview . . . 6.1 шолу. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 55

6.2 First block: properties inheritance . 6.2 Бірінші блок: қасиеттері мұраға . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 56

6.3 Second block: transitive properties . . . 6.3 Екінші блок: өтпелі қасиеттері. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 59

6.4 Third block: sameAs statements . . . 6.4 Үшінші блок: sameAs есептілігі. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 59

6.5 Fourth block: equivalence from subclass and subproperty state- 6.5 Төртінші блок: сыныбында бастап эквиваленттік және subproperty өсіріп

ments . . . стап. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 61

6.6 Fifth block: derive from equivalence statements . 6.6 Бесінші блок: эквиваленттік есептілік туындайтын . . . . . . . . . . . . . . . . . . . 63 63

6.7 Sixth block: same as inheritance . . . 6.7 Алтыншы блок: мұраға бірдей. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 63

6.8 Seventh block: hasValue statements . . . 6.8 Жетінші блок: hasValue есептілігі. .. . . . . . . . . . . . . . . . . . . . . . . . . . . 66 66

6.9 Eighth block: someValues/allValuesFrom schema . . . 6.9 Сегізінші блок: someValues ​​/ allValuesFrom схема. .. . . . . . . . . . . . . 68 68

7 Results 7 Ойынның нәтижесi

71 71

7.1 Experiments settings . . . 7.1 Тәжірибелер параметрлері. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 71

7.2 Results . . . 7.2 нәтижелері. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 71

7.2.1 Dictionary encoding performances . . . 7.2.1 Сөздік кодтау қойылымдар. .. . . . . . . . . . . . . . . . . . . . . 72 72

7.2.2 RDFS reasoning performances . . . Қойылымдар негіздеу 7.2.2 RDFS. .. . . . . . . . . . . . . . . . . . . . . . . . . 75 75

7.2.3 OWL reasoning performances . OWL пайымдау қойылымдар 7.2.3. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 82 82

8 Future extensions and conclusions 8 Болашақ кеңейту және қорытындылар

83 83

Page 5 Page 5

Chapter 1 1-тарау

Introduction Кіріспе

In 1994 Tim Berners-Lee introduced the concept of the Semantic Web. 1994 жылы Тим Бернерс-Ли семантикалық Web тұжырымдамасын таныстырды. The The

Semantic Web is a extension of the traditional web that can be roughly described Семантикалық Web шамамен сипаттауға болады дәстүрлі веб бір жалғасы болып табылады

as an attempt of injecting a semantic meaning to all of the information that осы ақпаратты барлық семантикалық мағынасы инъекциялық әрекет ретінде

populate the web [28 ]. Вебті толтыру [28 ]. Nowadays the Semantic Web can count on a solid base Қазіргі таңда семантикалық Веб қатты негізінде сене алады

of literature and developed software. әдебиет және дамыған бағдарламалық қамтамасыз ету.

In the Semantic Web world the information is encoded in some specific lan- Семантикалық веб әлемде ақпарат кейбір нақты тілдерде кодталады

guages where the associated semantics can be understood not only by human байланысты семантикасы ғана емес адам түсінуге болады жазылған

beings as it is with the commonly spoken languages but also from the com- Бәріне тілде болып, сондай-ақ Газ бастап тіршілік

puters. пьютеры. People communicate to each others using complex languages like, for Адамдар үшін, сияқты күрделі тілдерін пайдаланып әр басқаларға байланысу

example, the English language. мысалы, ағылшын тілі. Machines are unable to understand such lan- Машиналар, мұндай тілдерде түсінуге қабілетсіз болып табылады

guage. тілі. For example the sentence “Alice eats an apple” contained in a web page Мысалы, сөйлем веб-бетте қамтылған «Алиса алма жейді»

is for a machine nothing more than a mere sequence of bytes. байт ғана ретпен астам машина бекер болып табылады. Instead a person Оның орнына адам

can read this sentence and derive some new information like that “Alice” is a Осы сөйлемді оқып, «Алиса» болып табылады, бұл сияқты кейбір жаңа ақпаратты шығаруға болады

person, that “eats” is a word that indicate the action of eating and that “apple” «Бюджет» Дұрыс тамақтану əрекетті көрсетуі сөз болып табылады және «алма» деп, бұл адам,

is a fruit. жемісі болып табылады. All this information cannot be derived by a machine because it cannot Ол мүмкін емес, өйткені барлық осы ақпарат машинада алынуы мүмкін емес

catch and manipulate the semantics contained in the sentence. сөйлемде қамтылған семантикасын қуып және айлалы.

Semantic Web addresses this problem by introducing a set of standards and Семантикалық веб стандарттар жиынтығын енгізу арқылы бұл мәселені шешеді және

tools organized in a stack called Semantic Web stack. Семантикалық веб стек деп аталатын дестесін ұйымдастырылған құралдар. The aim of Semantic Web Семантикалық Web мақсаты

is to provide a set of technologies in such a way that machines can somehow машиналар ойламаймыз болады осылайша технологиялар жиынтығын қамтамасыз ету болып табылады

process the information using the semantics contained in it. ондағы семантикасын пайдаланып ақпаратты өңдеу. In the Semantic Семантикалық жылы

Web machines can retrieve certain information more efficiently than before or Веб машиналар тиімдірек алдында немесе қарағанда белгілі бір ақпаратты алуға болады

being able to derive new information from an existing data set[ 28] . Бар деректер жиынына [жаңа ақпаратты шығаруға мүмкіндігі 28] .

The process of deriving new information is called reasoning and there are жаңа ақпарат алу процесі пайымдау деп аталады және онда болып табылады

already some programs that do this in a efficient way [2 9] [3] [14]. бір тиімді жолда мұны істеу қазірдің өзінде кейбір бағдарламалар [2 9] [3] [14]. However in Алайда жылы

the last years the amount of information in the Semantic Web has considerably Семантикалық Web ақпарат көлемі айтарлықтай бар соңғы жылдары

increased making the reasoning process a data intensive problem where the пайымдау процесі, онда деректер қарқынды проблемасын қабылдау өсті

physical constraints of a single machine are a notable limitation. бір машинаның физикалық шектеулер елеулі шектеу болып табылады. Scalability Ауқымдылығы

is an essential feature because the Semantic Web is based on the top of the Семантикалық Web жоғарғы негізделген, өйткені маңызды ерекшелігі болып табылады

traditional web and experience showed how rapidly the amount of available дәстүрлі Веб және тәжірибе қалай тез қол жетімді мөлшерін көрсетті

information has increased on Internet. ақпарат интернетте өсті. If Semantic Web wants to continue its Семантикалық Web оның жалғастыру алғысы келсе

ascensions in usage and popularity it must provides tools that can handle a large пайдалану және танымал өрлеулер ол үлкен өңдеуге болады құралдарды ұсынады керек

5 5

Page 6 Page 6

6 6

CHAPTER 1. INTRODUCTION ТАРАУ 1. КІРІСПЕ

amount of information. ақпарат көлемі.

In this thesis I will address the problem of reasoning over a large Диссертациялық Мен үлкен астам пайымдау проблемасын шешуге мүмкіндік береді

amount of data using a distributed system, and, more in details, us- бөлінген жүйесін пайдаланып деректердің көлемі және егжей-тегжейлі көп, луы

ing the MapReduce model[ 4] offered by the Hadoop framework. [MapReduce моделін ды 4] Hadoop шеңберінде ұсынған. The The

hypothesis is that the reasoning process can be efficiently translated гипотеза пайымдау процесі тиімді аударуға болады, бұл

into one or more MapReduce jobs and the purpose of this work is бір немесе бірнеше MapReduce жұмыс орындары және осы жұмыстың мақсаты болып табылады ішіне

to verify it. Оны тексеру үшін.

In order to prove this hypothesis we designed and evaluated some algorithms Бұл гипотезаны дәлелдеу үшін біз кейбір алгоритмдерді әзірленді және бағалануы

that do RDFS [ 8 ] and OWL [27] reasoning with the MapReduce programming бұл RDFS [істеу 8 MapReduce бағдарламалау] және OWL [27] пайымдау

model. моделі. In this document we describe these algorithms in detail along with the Бұл құжатта біз бірге егжей-тегжейлі осы алгоритмдер сипаттау

performances we have obtained in our tests. біздің сынақтар алған қойылымдар.

1.1 Outline 1.1 Outline

The rest of this chapter focuses on the advantages and disadvantages of using Осы тараудың қалған пайдалану артықшылықтары мен кемшіліктері фокусталады

a distributed system. бөлінген жүйесі. The other chapters are organized as follows. мынадай сияқты басқа тараулар ұйымдастырылды. Chapter Тарау

2 describes some ground terms and the technologies used in this work so that 2 кейбір жер шарттарын және, сондықтан бұл жұмыста пайдаланылатын технологияларды сипаттайды

the reader has enough knowledge to understand the rest. оқырман қалған түсіну үшін жеткілікті білімі бар. In case the reader Оқырман жағдайда

is already familiar with MapReduce and the Semantic Web technologies this қазірдің өзінде MapReduce және семантикалық веб технологиялар осы таныс болып табылады

chapter can be easily skipped. тарау оңай өткізіп болады. Chapter 3 contains an overview of some related Тарау 3 Кейбір қатысты шолуды қамтиды

work and of some already existing reasoners. жұмыстар мен қазірдің өзінде кейбір reasoners туралы. Chapter 4 presents an algorithm Тарау 4- алгоритм ұсынылды

that compresses the data using dictionary encoding. бұл сөздік кодтауын пайдаланып деректерді қысады. Data compressiong is a Деректер compressiong болып табылады

technical problem that, though is not strictly related to reasoning, is necessary дегенмен пайымдау қатаң байланысты емес, техникалық проблема қажет

for our final purpose. Біздің соңғы мақсатында. Chapter 5 discusses about the design and implementation Бап 5 жобалау және іске асыру туралы талқыланған

of an algorithm that does RDFS reasoning. RDFS пайымдау жасайды алгоритм. Chapter Тарау 6 does the same about OWL 6 бірдей туралы OWL етеді

reasoning. пайымдау. Chapter 7 reports the results obtained with our implementation and Тарау 7- біздің іске асыру алынған есептер нәтижелері мен

an analysis of the performances. Спектакльдердің талдау. At last, chapter 8 reports the conclusions and Ақыр соңында, тарау 8 қорытындылар хабарлайды және

some possible future extensions of this work. Бұл жұмыстың кейбір ықтимал болашақ кеңейтімдер.