_{Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации}

Ордена Трудового Красного Знамени

Федеральное государственное бюджетное образовательное учреждение высшего образования

Кафедра «Математическая кибернетики и информационные технологии»

Отчёт по лабораторной работе №2

по дисциплине «Математические методы в больших данных» на тему:

«Hadoop HDFS»

Выполнили: студенты БСТ****

Проверила: Пугачёва Мария Алексеевна

Москва 2021

Оглавление

_{Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации} 1

Ордена Трудового Красного Знамени 1

Федеральное государственное бюджетное образовательное учреждение высшего образования 1

Кафедра «Математическая кибернетики и информационные технологии» 1

Отчёт по лабораторной работе №2 1

по дисциплине «Математические методы в больших данных» на тему: 1

«Hadoop HDFS» 1

1

1

Выполнили: студенты БСТ**** 1

Проверила: Пугачёва Мария Алексеевна 1

1

Москва 2021 1

Оглавление 2

1. Установить на виртуальную машину образ Hadoop (Для этого также понадобится VirtualBox или VMware (https://www.simplilearn.com/tutorials/big-data-tutorial/cloudera-quickstart-vm#downloading_the_cloudera_quickstart_vm) 4

2. Выполнить следующие шаги в терминале для доступа к панели администратора: 4

2.1. hostname # Покажет имя хоста: quickstart.cloudera 4

2.2. hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS 4

2.3. service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно 4

2.4. su - #Вход в рута 4

2.5. service cloudera-scm-server status # Пароль для рута: cloudera 4

3. [Исследовательское] Сколько узлов одновременно можно потерять без потери данных в кластере из 10 узлов? Из 100 узлов? 4

4. Опробовать консольные утилиты для работы с кластером 4

4.1. Создать/скопировать/удалить папку 4

4.2. Положить в HDFS любой файл 4

4.3. Скопировать/удалить этот файл 4

4.4. Просмотреть размер любой папки 4

4.5. Посмотреть как файл хранится на файловой системе (см. команду fsck) 4

4.6. Установить нестандартный фактор репликации (см. команду setrep) 4

5. Запустить Cloudera Express и Cloudera Manager. Изучить интерфейс. 4

1. Просмотр имени хоста, файлов в HDFS, команды для запуска cloudera express бесплатно. 5

5

Вход в рута. 6

6

2. Запуск команд для работ с кластером: просмотр содержимого, создание папки "dir", её удаление, создание текстового файла "test.txt" в локальной файловой системе, его перенос в HDFS, вывод внутри HDFS, копирование в файл "test_2.txt", его удаление. 6

6

Просмотр размера папки "dir" и файла "test.txt" в HDFS. 0 и 14 байт соответственно. 6

6

Установка фактора репликации на 5. 6

6

Проверка файла командой fsck 7

7

3. Запуск Cloudera Express и Cloudera Manager. 8

8

Были изучены команды для работы с файловой системой, а также интерфейс Cloudera Express. 9

1. Задание

1. Установить на виртуальную машину образ Hadoop (Для этого также понадобится VirtualBox или VMware (https://www.simplilearn.com/tutorials/big-data-tutorial/cloudera-quickstart-vm#downloading_the_cloudera_quickstart_vm)

2. Выполнить следующие шаги в терминале для доступа к панели администратора:

   1. hostname # Покажет имя хоста: quickstart.cloudera

   2. hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS

   3. service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно

   4. su - #Вход в рута

   5. service cloudera-scm-server status # Пароль для рута: cloudera

3. [Исследовательское] Сколько узлов одновременно можно потерять без потери данных в кластере из 10 узлов? Из 100 узлов?

4. Опробовать консольные утилиты для работы с кластером

   1. Создать/скопировать/удалить папку

   2. Положить в HDFS любой файл

   3. Скопировать/удалить этот файл

   4. Просмотреть размер любой папки

   5. Посмотреть как файл хранится на файловой системе (см. команду fsck)

   6. Установить нестандартный фактор репликации (см. команду setrep)

5. Запустить Cloudera Express и Cloudera Manager. Изучить интерфейс.

2. Выполнение работы

1. Просмотр имени хоста, файлов в HDFS, команды для запуска cloudera express бесплатно.

Вход в рута.

2. Запуск команд для работ с кластером: просмотр содержимого, создание папки "dir", её удаление, создание текстового файла "test.txt" в локальной файловой системе, его перенос в HDFS, вывод внутри HDFS, копирование в файл "test_2.txt", его удаление.

Просмотр размера папки "dir" и файла "test.txt" в HDFS. 0 и 14 байт соответственно.

Установка фактора репликации на 5.

Проверка файла командой fsck

3. Запуск Cloudera Express и Cloudera Manager.

3. Вывод

Были изучены команды для работы с файловой системой, а также интерфейс Cloudera Express.