更新 Hive 数据分区

替换 Hive ORC 归档中获准日期的完整数据,包括已确认记录集为空的获准日期,同时保留其他日期和原始来源。包含一个引导实验和一个独立挑战。

项目大数据

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

简介

更新 Hive 数据分区是一门面向已有 Hive 查询基础学习者的实践项目课程。场馆已批准更正特定日期的完整已确认访问记录。你将替换这些日期,正确处理一个没有已确认记录的获准日期,并保持其他所有日期和原始来源数据不变。

课程包含一个引导实验和一个独立挑战。引导实验先用一次性练习表比较追加、整表替换和静态分区替换,再更正真正的 ORC 归档。挑战则提供新的日期和候选记录,其中包含获准范围之外的数据。

你将学到什么

完成本课程后,你将能够:

  • 在更正前查看外部表的位置、分区列和存储格式;
  • 区分替换某日全部记录与追加新记录;
  • 选择静态目标分区,并单独筛选对应的已确认来源记录;
  • 用空记录集替换没有已确认访问的获准日期数据,同时保留该日期的分区注册;
  • 保留未获准日期的归档记录、原有 HDFS 文件,以及给定的来源定义和数据;
  • 保存并执行 SQL,重复执行同一文件,再通过读取查询验证完整归档。

本课程适合谁

本课程适合已有 Hive 入门经验、希望练习严格限定更正范围的学习者。

前置要求: 基本的 Terminal 路径切换、HDFS 路径、Hive 外部表、带有 WHERE 的 SELECT 查询、分区列和 ORC。引导实验会解释静态分区覆盖,以及保存 SQL 所用的 shell 语法。

学习环境: 每个单元都提供独立的预配置 Linux 环境,包含 Hive、HDFS、来源记录和初始归档。你将在浏览器的 Terminal 标签中操作,无需本地安装。命令、数据和运行输出保留英文。

常见问题

我需要安装 Hive 或 Hadoop 吗?

不需要。每个单元的服务和课程数据均已准备好。你可以专注于读取归档、判断获准范围和应用更正。

更正是逐条更新记录吗?

本课程中的获准候选数据代表某个日期的完整已确认记录集。替换这个记录集会移除旧记录;如果获准替换结果为空,该日期的所有旧记录都会被移除。

挑战如何延伸引导实验?

你将独立查看新的批准清单和候选数据,应用同样的替换机制,并保留后续未获准日期的数据。挑战独立初始化,不依赖引导实验中的文件。

教师

labby
Labby
Labby is the LabEx teacher.