ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования

«МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ СВЯЗИ И ИНФОРМАТИКИ»

Лабораторная работа №2

по теме:

«Большие данные. Знакомство образом Hadoop.»

Подготовил студент

-

-

Оглавление

Выполнить следующие шаги в терминале для доступа к панели администратора: 4

Запускаем Cloudera Express через терминал 13

Установить на виртуальную машину образ Hadoop (Для этого также понадобится VirtualBox или VMware (https://www.simplilearn.com/tutorials/big-data-tutorial/cloudera-quickstart-vm#downloading_the_cloudera_quickstart_vm)

Выполнить следующие шаги в терминале для доступа к панели администратора:

hostname # Покажет имя хоста: quickstart.cloudera

hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS

service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно

su - #Вход в рута

service cloudera-scm-server status # Пароль для рута: cloudera Опробовать консольные утилиты для работы с кластером

• Создать/скопировать/удалить папку

hdfs dfs -mkdir /test_folder1 # Создать папку test_folder1:

hdfs dfs -mkdir /test_folder2 # Создать папку test-folder2

hdfs dfs -cp /test_folder1 /test_folder2 # Скопировать папку test-folder1 в папку test_folder2

hdfs dfs -rmdir /test_folder1 # Удалить папку test-folder1

hdfs dfs -appendToFile ~ /test_folder3/test.txt # Положили файлу test.txt в директорию test_folder3

hdfs dfs -copyFromLocal ~/test.txt /test_folder2/ # Скопировали предварительно созданный файл через команду touch test.txt в директорию test_folder2

hdfs dfs -rm /test_folder3/test.txt # Удалить файл test.txt из директории test_folder3

hdfs dfs -rm /test_folder2 # Посмотрели размер папки test_folder2

hdfs fsck /test_folder2 # Посмотреть как файл хранится на файловой системе (см. команду fsck)

hdfs dfs -setrep -w 2 /test_folder2 # Установить нестандартный фактор репликации (см. команду setrep)

Запускаем Cloudera Express через терминал

Заходим по url quckstart.cloudera:7180.Вводим логин и пароль указанный в терминале.

Нам стал доступен интерфейс Cloudera Manager.

Удалим sqoop

Посмотрим статус системы. Можно сделать вывод, системе не хватает оперативной памяти.

Посмотрим свойство службы HDFS

Рестартанем все сервисы в кластере