Осваиваем Hadoop FS Shell: команды Copyto Local и Put

Введение

Представьте себе магический лес, полный старинных деревьев и волшебных существ. В этом лесу живет темный колдун, обладающий силой манипулировать стихиями. Ваша задача - проникнуть через зачарованный лес и найти драгоценный артефакт, охраняемый темным колдуном. Для этого вам необходимо овладеть навыками Hadoop HDFS, в частности, сосредоточиться на командах FS Shell copyToLocal/put.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_put("FS Shell copyToLocal/put") hadoop/HadoopHDFSGroup -.-> hadoop/fs_get("FS Shell copyFromLocal/get") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271875{{"Hadoop FS Shell copyToLocal/put"}} hadoop/fs_ls -.-> lab-271875{{"Hadoop FS Shell copyToLocal/put"}} hadoop/fs_put -.-> lab-271875{{"Hadoop FS Shell copyToLocal/put"}} hadoop/fs_get -.-> lab-271875{{"Hadoop FS Shell copyToLocal/put"}} end

Hadoop FS Shell CopyToLocal

В этом шаге вы будете использовать команду Hadoop FS Shell copyToLocal для копирования файла из HDFS в локальную файловую систему.

Откройте терминал и следуйте шагам ниже, чтобы начать.

Переключитесь на пользователя Hadoop для правильных прав доступа:
```
su - hadoop
```

Создайте примерный файл в HDFS:

echo "Magic artifact content" | hdfs dfs -put - /home/hadoop/magic_artifact.txt

Используйте FS Shell copyToLocal для копирования файла в локальную систему:
```
hdfs dfs -copyToLocal /home/hadoop/magic_artifact.txt /home/hadoop/magic_artifact.txt
```
Проверьте копирование файла, проверив наличие локального файла:
```
ls /home/hadoop/magic_artifact.txt
```

Hadoop FS Shell Put

В этом шаге вы будете использовать команду FS Shell put для загрузки файла из локальной системы в HDFS.

Создайте локальный примерный файл:
```
echo "Dark sorcerer's spellbook" > /home/hadoop/spellbook.txt
```
Используйте FS Shell put для загрузки файла в HDFS:
```
hdfs dfs -put /home/hadoop/spellbook.txt /home/hadoop/spellbook.txt
```
Проверьте загрузку файла, проверив его наличие в HDFS:
```
hdfs dfs -ls /home/hadoop/spellbook.txt
```

Резюме

В этом лабе мы разработали магическую сцену в зачарованном лесу, чтобы привлечь пользователей к изучению команд FS Shell copyToLocal и put в Hadoop. Посетившись в поиске драгоценного артефакта у темного колдуна, пользователи были проведены по практическим шагам по копированию файлов между HDFS и локальной системой. С помощью этого погружательного опыта пользователи приобрели практический опыт в управлении файлами в экосистеме Hadoop и закрепили свои навыки HDFS.