ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования

«МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ СВЯЗИ И ИНФОРМАТИКИ»

Лабораторная работа №3

по теме:

«Простейшие запросы.»

Подготовил студент

-

-

Оглавление

Задание 3

Выполнение работы 4

1. Создание каталога ввода для программы 4

2. Создание файлов ввода и их перемешение в каталог ввода 4

3. Компиляция класса WordCount. 4

4. Создание jar файла. 5

5. Запуск WordCount 5

6. Результат 6

Задание

Цель работы: ознакомится с процессом MapReduce на примере подсчета слов в файле.

Задачи: Написать программу для подсчета количества слов на языке

java или воспользоваться примерами программ. И выполнить следующую последовательность действий:

1. Перед запуском примера необходимо создать места ввода и вывода в формате HDFS.

2. Создайте примеры текстовых файлов для использования в качестве

входных данных и переместите их в каталог/user/cloudera/wordcount/input в HDFS. Вы можете использовать любые файлы по своему выбору;

3. Скомпилируйте класс WordCount.

4. Создайте файл JAR для приложения WordCount.

5. Запустите приложение WordCount из файла JAR, передав пути к входным и выходным каталогам в формате HDFS.

6. Если вы хотите запустить образец снова, сначала вам нужно удалить выходной каталог. Используйте следующую команду.

hadoop fs -rm -r /user/cloudera/wordcount/output

Выполнение работы

1. Создание каталога ввода для программы

2. Создание файлов ввода и их перемешение в каталог ввода

3. Компиляция класса WordCount.

4. Создание jar файла.

5. Запуск WordCount

6. Результат