Hadoop FS Shell copyToLocal/put

介绍

想象一片充满古老树木和神奇生物的神秘森林。在这片森林中，住着一位能够操纵元素的黑暗巫师。你的任务是穿越这片被施了魔法的森林，取回由黑暗巫师守护的珍贵神器。为了实现这一目标，你必须掌握 Hadoop 的 HDFS 技能，特别是专注于 FS Shell 的 copyToLocal 和 put 命令。

Hadoop FS Shell CopyToLocal

在这一步骤中，你将使用 Hadoop FS Shell 命令 copyToLocal 将文件从 HDFS 复制到本地文件系统。

打开终端并按照以下步骤开始操作。

1. 切换到 Hadoop 用户以获取适当的权限：

   su - hadoop

2. 在 HDFS 中创建一个示例文件：

   echo "Magic artifact content" | hdfs dfs -put - /home/hadoop/magic_artifact.txt

3. 使用 FS Shell 的 copyToLocal 将文件复制到本地系统：

   hdfs dfs -copyToLocal /home/hadoop/magic_artifact.txt /home/hadoop/magic_artifact.txt

4. 通过检查本地文件是否存在来验证文件复制：

   ls /home/hadoop/magic_artifact.txt

Hadoop FS Shell Put

在这一步骤中，你将使用 FS Shell 命令 put 将文件从本地系统上传到 HDFS。

1. 创建一个本地示例文件：

   echo "Dark sorcerer's spellbook" > /home/hadoop/spellbook.txt

2. 使用 FS Shell 的 put 将文件上传到 HDFS：

   hdfs dfs -put /home/hadoop/spellbook.txt /home/hadoop/spellbook.txt

3. 通过检查文件是否存在于 HDFS 中来验证文件上传：

   hdfs dfs -ls /home/hadoop/spellbook.txt

总结

在本实验中，我们设计了一个魔法森林的场景，让用户通过沉浸式体验学习 Hadoop 中的 FS Shell copyToLocal 和 put 命令。通过完成从黑暗巫师手中取回珍贵神器的任务，用户被引导完成将文件在 HDFS 和本地系统之间复制的实际操作步骤。通过这种沉浸式体验，用户获得了在 Hadoop 生态系统中管理文件的实践经验，并提升了他们的 HDFS 技能。