БД_лаб1_Архангельский М.В._2154

Министерство цифрового развития, Связи и Массовых Коммуникаций Российской Федерации Ордена Трудового Красного Знамени федеральноегосударственноебюджетное образовательное

учреждениевысшегообразования «Московский Технический Университет Связи и Информатики»

(МТУСИ)

Кафедра«Математическая кибернетика и информационныетехнологии»

Лабораторная работа №1:

«Установка Cloudera, HDFS»

попредмету: «Большие данные»

Выполнил: студент гр. БСТ2154 Архангельский М.В.

Принял: Старший преподаватель Полянцева К.А.

Москва 2023

Задание:

1.Установить на виртуальную машину образ Hadoop (Для этого также понадобится VirtualBox или VMware)

2.Выполнить следующие шаги в терминале для доступа к панели администратора:

hostname # Покажет имя хоста: quickstart.cloudera

hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS

service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно

su — Вход в root, пароль: cloudera

3.Опробовать консольные утилиты для работы с кластером

Создать/скопировать/удалить папку

Положить в HDFS любой файл

Скопировать/удалить этот файл

Просмотреть размер любой папки

Посмотреть, как файл хранится на файловой системе (см.

команду fsck)

Установить нестандартный фактор репликации (см. команду

setrep)

4.Запустить Cloudera Express и Cloudera Manager. Изучить интерфейс.

Выполнение:

Первый этап выполнения лабораторной работы — установка среды виртуализации, в которой в последующем будет развернута виртуальная машина Cloudera. В данном случае установлена среда виртуализации в виде программного обеспечения «VMware Workstation 17 Pro». Для установки виртуальной машины достаточной открыть готовый образ, для этого, как показано на рисунке 1, необходимо перейти во вкладку «File» и нажать кнопку «Open», после чего выбрать образ операционной системы. Затем, как показано на рисунке 2, нужно дать имя виртуальной машине и указать путь, где виртуальная машина будет располагаться. Как представлено на рисунке 3, по желанию можно задать аппаратные параметры виртуальной машины, такие как: количество ядер процессора, оперативная память, объем жесткого диска, после чего следует запустить виртуальную машину, нажав кнопку «Power on this virtual machine».

Рисунок 1 — Установка виртуальной машины

Рисунок 2 — Указание имени и пути установки виртуальной машины

Рисунок 3 — Аппаратные параметры виртуальной машины и ее запуск

После запуска виртуальной системы начнет загружаться операционная система. После окончания загрузки отобразится рабочий стол, как показано на рисунке 4.

Рисунок 4 — Рабочий стол Cloudera

Для выполнения работы необходимо запустить терминал. Сделать это можно либо нажав на соответствующий значок, расположенный в верхней части экрана, который отмечен красной стрелкой как показано на рисунке 4.

После запуска терминала нужно ввести следующие команды:

1.Hostname — Покажет имя хоста: quickstart.cloudera.

2.hdfs dfs -ls / — Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS.

3.service cloudera-scm-server status — Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно.

4.su — Вход в root, пароль: cloudera

Результаты выполнения команд представлены на рисунках 5, 6, 7, 8.

Рисунок 5 — Команда hostname

Рисунок 6 — Содержимое корневого каталога

После ввода команды «service cloudera-scm-server status», как показано на рисунке 7, терминал выдает сообщение, что чтобы использовать cloudera express бесплатно, следует ввести команду «sudo /home/cloudera/cloudera-manager -- express».

Рисунок 7 — Результат выполнения команды «service cloudera-scm-server status»

Рисунок 8 — Результат выполнения команды «su»

Для дальнейшего выполнения лабораторной работы понадобятся команды перечисленные на рисунке 9.

Рисунок 9 — Список команд для выполнения лабораторной работы

Результат выполнения команд, представленных на рисунке 9, показан на рисунках 10 — 17.

Рисунок 10 — Результат выполнения команды «hdfs dfsadmin -report»

Рисунок 11 — Результат выполнения последовательности команд по созданию папок в корневой директории

Рисунок 12 — Удаление папок test_folder1 и test_folder2

Для дальнейшей работы нужно создать тестовый файл. Создам файл «Aboba.txt» в каталоге /home/cloudera/Documents/ с помощью команды «touch», перед этим выбрав нужный каталог с помощью команды «cd», как показано на рисунке 13.

Рисунок 13 — Создание файла «Aboba.txt»

Рисунок 14 — Просмотр тестового файла после его успешного перемещения в созданную тестовую папку

Рисунок 15 — Результат выполнения команды «hdfs dfs -appendToFile»

Фактор репликации — это уровень избыточности данных, т.е. количество копий файла, которые будут храниться на диске. Для изменения фактора репликации следует ввести команду «hadoop fs -setrep -w», с цифрой, обозначающей количество копий файла и путь к самому файлу, которому требуется репликация. Результат работы данной команды продемонстрирован на рисунке 16.

Рисунок 16 — Установка фактора репликации для файла Aboba.txt

Рисунок 17 — Удаление тестового файла