Введение
В далеком-далекой галактике идет непрекращающийся космический конфликт между различными фракциями. Галактика также кипит жизнью, и в ее глубинах много космических торговцев, пытающихся заработать деньги в это суетливое время. Наша история посвящена одному из таких торговцев, который должен передать ценные файлы данных с использованием файловой системы Hadoop HDFS. Его задача - успешно скопировать файлы с локальной системы на Hadoop с использованием команды copyFromLocal и получить файлы из Hadoop на локальную систему с использованием команды get.
Копирование файла в Hadoop
На этом этапе космический торговец должен скопировать файл с именем data.txt с локальной системы на Hadoop HDFS.
Откройте терминал и следуйте шагам ниже, чтобы начать.
Переключитесь на пользователя
hadoop, чтобы получить соответствующие права:su - hadoopСоздайте в Hadoop директорию с именем
space_data:hdfs dfs -mkdir /space_dataСкопируйте локальный файл
data.txtв Hadoop:hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/Проверьте, успешно ли был скопирован файл:
hdfs dfs -ls /space_data
Получение файла из Hadoop
Теперь космический торговец должен получить файл data.txt из Hadoop и сохранить его на локальную систему.
Перейдите в директорию, в которую вы хотите сохранить полученный файл:
mkdir /home/hadoop/space_data && cd /home/hadoop/space_dataПолучите файл
data.txtиз Hadoop на локальную систему:hdfs dfs -get /space_data/data.txtПроверьте, успешно ли был получен файл:
ls -l data.txt
Резюме
В этом практическом занятии мы имитировали сценарий космической торговли, в котором торговец должен был передавать файлы данных между своей локальной системой и Hadoop HDFS. Практикуя команды copyFromLocal и get в Hadoop FS Shell, пользователи могут научиться эффективно перемещать файлы в Hadoop и из него в распределенную файловую систему. Этот практический опыт помогает понять базовые операции управления файлами в Hadoop и повышает навыки работы с экосистемами больших данных.
