Hadoop FS Shell copyFromLocal/get

Введение

В далеком-далекой галактике идет непрекращающийся космический конфликт между различными фракциями. Галактика также кипит жизнью, и в ее глубинах много космических торговцев, пытающихся заработать деньги в это суетливое время. Наша история посвящена одному из таких торговцев, который должен передать ценные файлы данных с использованием файловой системы Hadoop HDFS. Его задача - успешно скопировать файлы с локальной системы на Hadoop с использованием команды copyFromLocal и получить файлы из Hadoop на локальную систему с использованием команды get.

Копирование файла в Hadoop

На этом этапе космический торговец должен скопировать файл с именем data.txt с локальной системы на Hadoop HDFS.

Откройте терминал и следуйте шагам ниже, чтобы начать.

1. Переключитесь на пользователя hadoop, чтобы получить соответствующие права:

   su - hadoop

2. Создайте в Hadoop директорию с именем space_data:

   hdfs dfs -mkdir /space_data

3. Скопируйте локальный файл data.txt в Hadoop:

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/

4. Проверьте, успешно ли был скопирован файл:

   hdfs dfs -ls /space_data

Получение файла из Hadoop

Теперь космический торговец должен получить файл data.txt из Hadoop и сохранить его на локальную систему.

1. Перейдите в директорию, в которую вы хотите сохранить полученный файл:

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data

2. Получите файл data.txt из Hadoop на локальную систему:

   hdfs dfs -get /space_data/data.txt

3. Проверьте, успешно ли был получен файл:

   ls -l data.txt

Резюме

В этом практическом занятии мы имитировали сценарий космической торговли, в котором торговец должен был передавать файлы данных между своей локальной системой и Hadoop HDFS. Практикуя команды copyFromLocal и get в Hadoop FS Shell, пользователи могут научиться эффективно перемещать файлы в Hadoop и из него в распределенную файловую систему. Этот практический опыт помогает понять базовые операции управления файлами в Hadoop и повышает навыки работы с экосистемами больших данных.