Hadoop FS Shell mkdir

Введение

Представьте, что вы являетесь офицером по коммуникациям, работающим на внеземном базовом пункте на далекой планете. Ваша задача — управлять данными о коммуникациях, хранящимися в Hadoop Distributed File System (HDFS). Сегодня вы узнаете, как использовать команду mkdir Hadoop FS Shell для создания директорий и эффективного организации ваших данных.

Создать новую директорию

В этом шаге вы создадите новую директорию с именем communications в HDFS.

1. Переключитесь на пользователя hadoop:

   su - hadoop
   

2. Проверьте текущую директорию в HDFS:

   hdfs dfs -ls /
   

   Если вы выполните вышеуказанную команду в этот момент, вы увидите, что в HDFS нет никаких директорий.

3. Создайте новую директорию с именем communications:

   hdfs dfs -mkdir /communications
   

4. Объясните назначение команды и интерпретируйте вывод:

   Команда hdfs dfs -mkdir /communications используется для создания новой директории с именем "communications" в Hadoop Distributed File System (HDFS). Разберём команду:

   • hdfs: Это командная строка для взаимодействия с HDFS.
   • dfs: Это сокращение от "Distributed File System" и является подкомандой для инструмента hdfs.
   • -mkdir: Это параметр, указывающий на то, что мы хотим создать новую директорию.
   • communications: Это имя директории, которую мы хотим создать.

5. Проверьте, была ли директория создана успешно:

   hdfs dfs -ls /
   

После выполнения этой команды, если вы увидите директорию с именем "communications", это означает, что вы завершили этот шаг.

Создайте несколько новых поддиректорий

В этом шаге вы создадите поддиректории внутри директории communications, чтобы дальнейше организовать ваши данные о коммуникациях.

1. Создайте поддиректорию с именем reports:

   hdfs dfs -mkdir /communications/reports
   

2. Создайте другую поддиректорию с именем messages:

   hdfs dfs -mkdir /communications/messages
   

3. Проверьте, были ли поддиректории созданы успешно:

   hdfs dfs -ls /communications
   

Если поддиректории "reports" и "messages" отображаются внутри директории "communications" после выполнения этой команды, это означает, что эксперимент был успешно завершен.

Резюме

В этом практическом занятии вы узнали, как использовать команду mkdir Hadoop FS Shell для создания директорий в HDFS. Организация данных в структурированные директории позволяет эффективно управлять и получать доступ к файлам коммуникаций в экосистеме Hadoop. Это практическое занятие было разработано для повышения ваших навыков в управлении файлами Hadoop HDFS и структурировании директорий.

Кроме того, во время процесса обучения вы можете также провести аналогию между этой командой и командой mkdir в Linux.