介绍
欢迎来到超自然领域，在这里宇宙力量与凡间存在交织在一起。在这个超凡脱俗的场景中，你将扮演 Ezekiel，一位肩负着守护超越时空的灵性知识的重任的天界领袖。你的任务是利用 Hadoop 这一强大的数据管理平台，保存并传播这些无价的智慧，使其遍布天界。
作为 Ezekiel，你掌管着天界档案馆，这是一个包含无数时代积累的知识的庞大资料库。然而，数据的海量规模已经变得难以应对，你需要一个复杂的系统来高效地组织和分发这些信息。Hadoop 应运而生，这个强大的工具将帮助你加载、处理并与天界同伴分享这些天界洞见。
你的目标是掌握将数据加载和插入到 Hadoop 分布式文件系统及 Hive（一个构建在 Hadoop 之上的开源数据仓库系统）的技巧。通过这样做，你将揭开天界档案馆的秘密，确保那些寻求启迪的人能够继续接触到这些古老的智慧。
将数据复制到 Hadoop 分布式文件系统 (HDFS)
在这一步骤中，你将学习如何将数据从本地文件系统传输到 Hadoop 分布式文件系统 (HDFS)，这是 Hadoop 生态系统的基石。HDFS 旨在跨多个节点存储和管理大量数据，确保数据冗余和容错性。
首先，确保你以 hadoop 用户身份登录，在终端中运行以下命令：
su - hadoop
接下来，我们在本地文件系统中创建一个示例数据文件：
echo "Hello, Celestial Realm" > /home/hadoop/celestial_data.txt
该命令会在 /home/hadoop 目录下创建一个名为 celestial_data.txt 的文本文件，内容为 "Hello, Celestial Realm!"。
然后，我们使用 hadoop fs 命令将该文件复制到 HDFS：
hadoop fs -mkdir -p /home/hadoop/celestial_archives
hadoop fs -put /home/hadoop/celestial_data.txt /home/hadoop/celestial_archives
以下是该命令的作用：
hadoop fs是一个用于与 HDFS 交互的命令行工具。-mkdir：是hadoop fs命令的子命令，用于创建目录。-p：是一个选项，用于递归创建父目录。如果指定路径中的父目录不存在，则会一并创建。-put：是将文件从本地文件系统复制到 HDFS 的操作。/home/hadoop/celestial_data.txt是本地文件系统中源文件的路径。/home/hadoop/celestial_archives是 HDFS 中目标目录的路径。
执行此命令后，你应该会看到一条成功消息，确认文件已复制到 HDFS。
创建 Hive 表并加载数据
在这一步骤中，你将学习如何创建 Hive 表并将数据从 HDFS 加载到表中。Hive 是一个构建在 Hadoop 之上的强大数据仓库工具，旨在高效地进行数据汇总、查询和分析。
首先，通过运行以下命令启动 Hive CLI：
hive
这将打开 Hive 交互式 shell，你可以在其中执行 Hive 查询和命令。
接下来，我们创建一个名为 celestial_archives 的新 Hive 表来存储数据：
CREATE TABLE celestial_archives (message STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;
以下是该 Hive 查询的作用：
CREATE TABLE celestial_archives创建一个名为celestial_archives的新表。(message STRING)定义了一个名为message的列，数据类型为STRING。ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'指定数据文件中的每一行以制表符 (\t) 分隔。STORED AS TEXTFILE表示表数据将以纯文本文件的形式存储在 HDFS 中。
创建表后，我们使用 LOAD DATA 命令将数据从 HDFS 加载到 Hive 表中：
LOAD DATA INPATH '/home/hadoop/celestial_archives/celestial_data.txt' INTO TABLE celestial_archives;
该命令将 HDFS 中 /home/hadoop/celestial_archives/celestial_data.txt 文件的数据加载到 celestial_archives Hive 表中。
最后，你可以查询表以验证数据是否正确加载：
SELECT * FROM celestial_archives;
该查询应显示 celestial_archives 表的内容，即 "Hello, Celestial Realm!" 消息。
总结
在本实验中，你扮演了 Ezekiel 的角色，这位天界领袖肩负着守护天界档案馆中灵性知识的重任。通过掌握将数据加载和插入到 Hadoop 分布式文件系统 (HDFS) 和 Hive 的技巧，你迈出了关键的一步，确保这些无价的智慧能够在天界中得以保存和传播。
通过动手实践，你学习了如何将数据从本地文件系统复制到 HDFS，创建 Hive 表，并将数据从 HDFS 加载到这些表中。通过完成这些任务，你揭开了天界档案馆的秘密，确保那些寻求启迪的人能够继续接触到这些古老的知识。
本实验不仅让你掌握了使用 Hadoop 和 Hive 的实用技能，还挑战你以创造性的思维将这些工具应用到一个独特而超凡脱俗的场景中。保存天界知识的旅程才刚刚开始，你所掌握的技能将在你继续探索数据管理和分析的广阔领域中发挥重要作用。
