掌握 Hive 表生成函数

介绍

在神秘的东方，一座受人尊敬的寺院矗立在高耸入云的山巅，笼罩在古老智慧的迷雾之中。在它神圣的围墙内，住着一位备受尊敬的武士僧侣——Hiro，他是数据操纵这门神圣艺术的大师。他对揭开数据奥秘的坚定执着赢得了学者和僧侣们的尊敬。

一天，寺院的住持将 Hiro 召到他的房间，脸上写满了忧虑。“Hiro，一个严峻的情况出现了，”住持开始说道。“我们祖先的古老知识所记载的神圣卷轴已经散落在各地。我们必须在这些宝贵的信息永远消失之前，将其找回并整理好。”

Hiro 深深地鞠了一躬，眼中闪烁着决心。“我不会让你失望的，尊敬的师父，”他发誓道。“借助 Hadoop 及其表生成函数（Table Generating Functions）的力量，我将遍寻这片土地，恢复我们祖先智慧的秩序。”

住持庄重地点了点头，将信任寄托在 Hiro 坚定不移的决心上。于是，Hiro 开始了掌握 Hive 表生成函数的征程，这段旅程将考验他的技能和决心，直至极限。

探索 Lateral View 函数

在这一步中，我们将深入探讨强大的 Lateral View 函数，它能够将复杂的数据结构分解为更易管理的形式。

首先，让我们创建一个示例数据集来进行操作。导航到 /home/hadoop 目录，并创建一个名为 sample.txt 的新文件，内容如下：

在终端中切换到 hadoop 用户：

su - hadoop

## 进入目录并创建新文件
cd /home/hadoop
vim sample.txt

输入以下内容：

1,2,3|4,5|6,7,8
9,10|11,12,13|14,15

确保文件已保存并可访问。

接下来，我们将创建一个 Hive 表来存储这些数据。在终端中执行以下命令以打开 Hive CLI：

hive

在 Hive CLI 中，执行以下命令：

CREATE TABLE sample_table (line STRING);
LOAD DATA LOCAL INPATH '/home/hadoop/sample.txt' INTO TABLE sample_table;

现在，让我们使用 Lateral View 函数来分解 line 列中的复杂字符串数据：

SELECT line, x, y
FROM sample_table
LATERAL VIEW OUTER EXPLODE(SPLIT(line, '\\|')) temp AS x
LATERAL VIEW OUTER EXPLODE(SPLIT(x, ',')) temp2 AS y;

上述 SQL 语句使用 Hive 查询语言从名为 sample_table 的表中检索数据。以下是查询的简化解释：

我们希望从表中选择三列：line、x 和 y。
数据从 sample_table 表中检索。
查询使用了两次 LATERAL VIEW OUTER EXPLODE 子句来执行两个独立的操作：
- 第一个 LATERAL VIEW OUTER EXPLODE(SPLIT(line, '\\|')) temp AS x 使用分隔符 | 拆分 line 列中的值。EXPLODE 函数随后将生成的数组转换为多行。这些被拆分的值被分配给别名 x。
- 第二个 LATERAL VIEW OUTER EXPLODE(SPLIT(x, ',')) temp AS y 使用分隔符 , 拆分 x 列（在前一步中创建）中的值。同样，EXPLODE 函数将生成的数组转换为多行。这些被拆分的值被分配给别名 y。

总结来说，查询从 sample_table 中取出每一行，并执行两次拆分。首先，它通过 | 拆分 line 列，生成多行，每行在 x 列中有不同的值。然后，它通过 , 拆分 x 列，生成更多行，每行在 y 列中有不同的值。最终的结果是一组包含所有可能的 line、x 和 y 值组合的行。

掌握 Explode 函数

在这一步中，我们将探索 Explode 函数，它能够将数组和映射（Map）等复杂数据类型转换为多行。

首先，我们创建一个新的示例数据集。导航到 /home/hadoop 目录，并创建一个名为 array_data.txt 的文件，内容如下：

## 进入目录并创建新文件
cd /home/hadoop
vim array_data.txt

输入以下内容：

[1,2,3],[4,5],[6,7,8,9]
[10,11],[12,13,14],[15]

接下来，创建一个 Hive 表来存储这些数据：

CREATE TABLE array_table (arr ARRAY<STRING>);
LOAD DATA LOCAL INPATH '/home/hadoop/array_data.txt' INTO TABLE array_table;

现在，让我们使用 Explode 函数将数组数据展平为单独的行：

SELECT explode(arr) AS num FROM array_table;

该查询会将 arr 数组中的每个元素转换为单独的行，并在 num 列中显示对应的值。

我们还可以将 Explode 函数与 Lateral View 结合使用，以处理映射（Map）等复杂数据类型：

CREATE TABLE map_table (key STRING, value MAP<STRING, INT>);

INSERT INTO map_table
SELECT * FROM (
  SELECT 'entry1' AS key, map('a', 1, 'b', 2, 'c', 3) AS value
  UNION ALL
  SELECT 'entry2' AS key, map('d', 4, 'e', 5) AS value
) AS temp_table;

SELECT key, map_keys, map_values
FROM map_table
LATERAL VIEW EXPLODE(value) temp AS map_keys, map_values;

上述 SQL 语句是用 Hive 查询语言编写的查询。以下是查询的解释：

SELECT key, map_keys, map_values：指定结果中要选择的列。结果将包括三列：key、map_keys 和 map_values。
FROM map_table：表示查询在 map_table 表上执行。
LATERAL VIEW EXPLODE(value) temp AS map_keys, map_values：这是一个 Lateral View，用于展开 map_table 表的 value 列。EXPLODE 函数用于将 MAP 列中的每个键值对转换为单独的行。展开后的值被分配给别名 map_keys 和 map_values。

总结来说，查询从 map_table 表中检索数据。然后使用 LATERAL VIEW EXPLODE 子句展开 value 列，从而为 MAP 列中的每个键值对生成单独的行。结果行将包含来自 map_table 的 key 列，以及表示 MAP 列中各个键和值的 map_keys 和 map_values 列。

总结

在本实验中，我们在武士僧侣 Hiro 坚定不移的决心的指引下，踏上了探索 Hive 表生成函数（Table Generating Functions）神秘领域的旅程。通过动手实践，我们揭示了 Lateral View 和 Explode 函数的强大功能，掌握了将复杂数据结构转换为更易管理形式的艺术。

通过将复杂数据分解为单个元素，我们解锁了其中隐藏的秘密，揭示了宝贵的洞察力，并为更深层次的理解铺平了道路。正如 Hiro 的使命将散落的古老智慧卷轴重新整合一样，我们对这些强大函数的掌握使我们能够以曾经被认为不可能的方式组织和分析数据。

本实验不仅增强了我们的技术能力，还让我们对数据操作的持久遗产产生了深刻的欣赏。在我们继续前行的旅程中，愿这里学到的经验成为一盏指路明灯，照亮我们在数据艺术领域不断精进的道路。

僧侣的数据探索

介绍

探索 Lateral View 函数

掌握 Explode 函数

总结