4.4.1 Шолу

Біз не істеу пернелерін бөлу және топ үшін Hadoop қабілетін пайдалануға болады

ресурстарға нөмірлерін тағайындау азайту кезеңінде.

бірінші тапсырма, ол тағайындайды картасы кезеңінде енгізу үштіктің оқиды

әрбір үштік бірегей идентификаторы және ол негізгі үш үш кортежи шығарады

ресурстар Triple құрайды және үш идентификаторын және ресурс құндылықтары

бұл үштік лауазымы. редукторы екі нәрсе жасайды. Біріншіден, бұл тағайындайды

ресурстар бірегей идентификаторы. Содан кейін, ол қайтып жинақтарын мәндерді орындайды Итерация

әрбір құны кілт ретінде ресурсқа байланысты саны жаңа реттелуіне арналған

және үш ресурс пайда болды, онда ID плюс құны ретінде оның позициясы.

Екінші тапсырма енгізу алдыңғы бір шығаруды оқиды. түрлендіргіш

негізгі үштік идентификаторы ретінде бар қойылуы қайтару құны кілтті своп

және мән ретінде ресурс өзі плюс үштік ресурстың позициясы. The

бірге редукторы ерік тобы бірдей үштік ID бар луын. Әр топ

олардың әрқайсысы мәні ретінде ресурс саны плюс бар, үш кортежи болады

бұл үштік ресурс позиция. Бұл ақпарат редукторы алады

орнына ресурс нөмірлерімен шығу оралу түпнұсқа үштік

ресурс мәтін.

Келесі екі бөлімнен біз толығырақ осы екі жұмыс орындарын ұсынуға болады.

4.4.2 Бірінші тапсырма: URI мекенжайлары нөмірін тағайындау

бірінші тапсырма үштіктің құрамында қысылған файлдарда енгізу қабылдайды

N-бөлмелі пішім.

Бұл, атап айтқанда, тапсырмаға үшін біз теңшелетін енгізу форматын және дамыған болды

рекордтық оқырман енгізу автоматты түрде қысылмаған болуы және қайта алар

Мәтін бір үштік кодталады нысаны <Null, мәтін> а жинақтарын ретінде айналды

N-бөлмелі форматында. Қайтадан қалай Hadoop шеңберін Ескерту жақсы, бұл

толық аннотация енгізу үшін пайдаланушы негізгі сипаты мүмкіндік береді. The

Page 31

4.4. ТЕК MAPREDUCE ПАЙДАЛАНУ сөздік кодтау

31

енгізу қарапайым файлдар жасалған немесе дерекқор кестеде тұрады мүмкін. рекорд

оқырман жай дәйектілігі қайтару толық деректер сипаты жасырады

Лемма <пернесі, мән>.

түрлендіргіш бірінші кірісі бірегей идентификаторы әрбір үш есе тағайындайды. Бастап

картография түрлі машиналарда орындалатын және бір үштік ғана өңделеді

Бір түрлендіргіш, біз әрбір түрлендіргіш әрбір бірегей идентификаторын тағайындайды қамқорлық керек

Triple. Біз не істей аламыз осылайша саны кеңістігін бөлу болып табылады

әрбір құрушының тапсырма тек белгілі бір диапазонында нөмірлерін тағайындауға болады. Мысалы

бірінші түрлендіргіш тапсырма тек 0-ден 100-ге дейін, екінші түрлендіргіш нөмірлерін тағайындауға болады

Тапсырма тек 101-ден 200-ге дейін және тағы басқалар. Осылайша біз екі қаупін болдырмау

картография екі түрлі үштіктің бірдей санын тағайындайсыз.

Предикат, тақырыбы: кейін, түрлендіргіш үш бөліктен енгізу үштіктің жарылатын

және нысаны. Ол осы үш әр негізгі бар үш түрлі кортежи шығарады

бөлшектер. Лемма мәндері Triple ID (яғни кодталады бірқатар тұрады

барлық үш бірдей) және үштік ресурстың позиция.

реттелуіне құнының кодтау келесі жолмен жүзеге асырылады. Алғашқы 7 жылы

ол үш есе ID кодтау байт. төмендегідей үштік ID тұрады. Бірінші