掌握 Hadoop FS Shell：copyFromLocal 和 get 命令

介绍

在一个遥远的星系中，不同派系之间正在进行一场持续的空间战争。与此同时，星系中也充满了试图在混乱中获利的太空商人。我们的故事聚焦于其中一位太空商人，他需要使用 Hadoop 的 HDFS 文件系统传输宝贵的数据文件。这位商人的目标是使用 copyFromLocal 命令成功将文件从本地系统复制到 Hadoop，并使用 get 命令将文件从 Hadoop 检索到本地系统。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_get("FS Shell copyFromLocal/get") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_ls -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_mkdir -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_get -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} end

将文件复制到 Hadoop

在这一步中，太空商人需要将名为 data.txt 的文件从本地系统复制到 Hadoop HDFS。

打开终端并按照以下步骤开始操作。

切换到 hadoop 用户以获取适当的权限：
```
su - hadoop
```
在 Hadoop 中创建一个名为 space_data 的目录：
```
hdfs dfs -mkdir /space_data
```

将本地文件 data.txt 复制到 Hadoop：

hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/

验证文件是否成功复制：
```
hdfs dfs -ls /space_data
```

从 Hadoop 中检索文件

现在，太空商人需要从 Hadoop 中检索文件 data.txt 并将其保存到本地系统。

切换到你想保存检索文件的目录：

mkdir /home/hadoop/space_data && cd /home/hadoop/space_data

从 Hadoop 中检索文件 data.txt 到本地系统：
```
hdfs dfs -get /space_data/data.txt
```
验证文件是否成功检索：
```
ls -l data.txt
```

总结

在本实验中，我们模拟了一个太空交易场景，其中一位商人需要在本地系统和 Hadoop HDFS 之间传输数据文件。通过练习 Hadoop FS Shell 中的 copyFromLocal 和 get 命令，用户可以学习如何高效地将文件移入和移出 Hadoop 的分布式文件系统。这种实践操作有助于理解 Hadoop 中的基本文件管理操作，并提升用户在大数据生态系统中工作的技能。