МИНИСТЕРСТВО ЦИФРОВОГО РАЗВИТИЯ, СВЯЗИ И МАССОВЫХ КОММУНИКАЦИЙ

Ордена Трудового Красного Знамени

Федеральное государственное бюджетное образовательное учреждение высшего образования

«Московский технический университет связи и информатики»

Кафедра «Математическая кибернетика и информационные технологии»

Дисциплина «Большие данные»

Лабораторная работа №8

Москва, 2024

Содержание

1 Цель работы 3

2 Ход работы 3

3 Вывод 10

1 Цель работы

Получить навыки работы с Ozone.

2 Ход работы

Загружаем архив https://dlcdn.apache.org/ozone/1.4.0/ozone-1.4.0.tar.gz, распаковываем его и переходим в директорию compose/ozone (рисунок 1).

Рисунок 1 – Запуск контейнеров

Смотрим id и порты контейнеров через docker ps (рисунок 2).

Рисунок 2 – Просмотр docker ps

Можно увидеть, что UI Ozone Recon поднялся на порте 9888. Заходим на http://127.0.0.1:9888/ (рисунок 3).

Рисунок 3 – Ozone Recon

Какую информацию можно найти на главной странице сервиса Overview?

На главной странице сервиса Overview можно посмотреть количество доступных датанод, количество пайплайнов, бакетов и томов для монтирования, контейнеры, вместимость кластера.

Сколько DataNodes доступно по умолчанию?

По умолчанию доступен 1 DataNode.

Зайдём в контейнер с SCM. Вводим команду docker-compose exec scm bash (рисунок 4).

Рисунок 4 – Вход в контейнер

Здесь мы будем запускать команды для работы с файловой системой.

Выполним команду ls (рисунок 5).

Рисунок 5 – Просмотр содержимого

Увеличим количество доступных DataNodes. Выйдем из контейнера с помощью команды exit и выполним команду docker-compose up --scale datanode=3 –d (рисунок 6).

Рисунок 6 – Выход из контейнера и выполнение команды

В течение минуты информация в Ozone Recon обновится (рисунок 7).

Рисунок 7 – Обновленная информация в Ozone Recon

Зайдём в контейнер с SCM. Вводим команду docker-compose exec scm bash и создадим volume команды ozone sh volume create /smirnov (рисунок 8).

Рисунок 8 – Создание volume

Создадим новый bucket в нашем volume. Назовём его bucket1 ozone sh bucket create/smirnov/bucket1 (рисунок 9).

Рисунок 9 – Создание bucket в нашем volume

Создадим тестовый файл echo "test file" >> test_smirnov (рисунок 10).

Рисунок 10 – Создание тестового файла

Добавим файл в Ozone командой ozone sh key put /smirnov/bucket1/key1/test_smirnov (рисунок 11).

Рисунок 11 – Добавление файла в Ozone

Отобразим информацию о нашем ключе: ozone sh key info /smirnov/bucket1/key1 (рисунок 12).

Рисунок 12 – Отображение информации о ключе

Скопируем значение key в новый файл в локальной файловой системе ozone sh key get /smirnov/bucket1/key1 test_return_smirnov и убедимся, что файл скопировался (рисунок 13).

Рисунок 13 – Копируем значение key в новый файл

Посмотрим на список бакетов в нашем volume: ozone sh bucket list /smirnov (рисунок 14).

Рисунок 14 – Список бакетов

Удалим наши key, bucket и volume с помощью команды delete (рисунок 15).

Рисунок 15 – Удаление наших key, bucket и volume

Зайдём в раздел volumes в UI Ozone Recon http://127.0.0.1:9888/#/Volumes и убедимся, что наш volume отсутствует в системе (рисунок 16).

Рисунок 16 – Раздел volumes

Удалим файл test_smirnov из локальной директории контейнера (рисунок 17).

Рисунок 17 – Удаление фала test_smirnov

Выйдем из контейнера и выполним команду docker-compose down (рисунок 18).

Рисунок 18 – Выход из контейнера и удаление контейнеров

3 Вывод

В ходе работы мы получили навыки работы с Ozone.