Hadoop FS Shell copyFromLocal/get

介绍

在一个遥远的星系中，不同派系之间正在进行一场持续的空间战争。与此同时，星系中也充满了试图在混乱中获利的太空商人。我们的故事聚焦于其中一位太空商人，他需要使用 Hadoop 的 HDFS 文件系统传输宝贵的数据文件。这位商人的目标是使用 copyFromLocal 命令成功将文件从本地系统复制到 Hadoop，并使用 get 命令将文件从 Hadoop 检索到本地系统。

将文件复制到 Hadoop

在这一步中，太空商人需要将名为 data.txt 的文件从本地系统复制到 Hadoop HDFS。

打开终端并按照以下步骤开始操作。

1. 切换到 hadoop 用户以获取适当的权限：

   su - hadoop

2. 在 Hadoop 中创建一个名为 space_data 的目录：

   hdfs dfs -mkdir /space_data

3. 将本地文件 data.txt 复制到 Hadoop：

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/

4. 验证文件是否成功复制：

   hdfs dfs -ls /space_data

从 Hadoop 中检索文件

现在，太空商人需要从 Hadoop 中检索文件 data.txt 并将其保存到本地系统。

1. 切换到你想保存检索文件的目录：

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data

2. 从 Hadoop 中检索文件 data.txt 到本地系统：

   hdfs dfs -get /space_data/data.txt

3. 验证文件是否成功检索：

   ls -l data.txt

总结

在本实验中，我们模拟了一个太空交易场景，其中一位商人需要在本地系统和 Hadoop HDFS 之间传输数据文件。通过练习 Hadoop FS Shell 中的 copyFromLocal 和 get 命令，用户可以学习如何高效地将文件移入和移出 Hadoop 的分布式文件系统。这种实践操作有助于理解 Hadoop 中的基本文件管理操作，并提升用户在大数据生态系统中工作的技能。