课程 在 Hadoop 技能树

Hadoop 实践挑战

本课程包含大量 Hadoop 相关的挑战,每个挑战都是一个小的 Hadoop 项目,配有详细的说明和解决方案。通过解决这些挑战,你可以练习 Hadoop 技能,提升问题解决能力,并学习如何编写简洁高效的代码。

数据科学Linux

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

简介

通过 12 个聚焦挑战练习核心 HDFS 文件操作。每项活动都会给出一个小型文件系统任务、详细说明和解决方案,帮助你把目标结果转化为合适的 Hadoop 文件系统命令与路径。

课程有意聚焦日常 HDFS 数据处理:浏览和创建目录、读取与传输文件、检查路径,以及修改访问元数据。它是一组紧凑的技能训练,而不是对整个 Hadoop 生态系统的广泛介绍。

你将学到什么

完成本课程后,你将能够:

  • 列出 HDFS 路径并创建目录,以有序存储数据。
  • 直接读取 HDFS 文件内容,并检查路径是否满足指定条件。
  • 在 HDFS 内不同位置之间复制和移动文件或目录。
  • 将本地文件上传到 HDFS,并把 HDFS 数据下载到本地文件系统。
  • 把新的本地数据追加到 HDFS 中已有的文件。
  • 使用相应文件系统命令更改 HDFS 组所有权和文件所有者。
  • 为 HDFS 路径设置权限模式,并区分所有权变化与权限变化。
  • 选择合适的 hadoop fs 操作,并验证最终文件系统状态。

本课程适合谁

本课程适合已经理解 HDFS 用途、希望通过短小情境任务练习文件系统 shell 的学习者,也适合学过相关命令一次、但在进入更大数据处理流程前需要反复巩固的 Hadoop 初学者。

前置要求: 你应能使用 Linux 终端,理解文件、目录以及基本 Unix 所有权和权限概念。建议事先接触过 HDFS 路径和 hadoop fs 命令族,因为本课程由挑战组成,并非完整的概念入门。

学习环境: 课程包含 12 个命令行挑战,均在课程提供的 Hadoop 环境中完成。所列任务只使用文件系统操作,无需自行配置外部云集群或连接个人服务账号。

常见问题

课程会覆盖完整的 Hadoop 生态系统吗?

不会。课程只聚焦 HDFS 文件系统命令;集群安装、MapReduce 编程、YARN、Hive、Pig、Spark、性能调优和容错 pipeline 设计不在这 12 个挑战中。

它与 Hadoop 实践实验室有什么区别?

本课程规模更小,只包含围绕 12 项 HDFS shell 操作的挑战。Hadoop 实践实验室覆盖面更广,包含 HDFS 管理、MapReduce、YARN、Hive 及相关数据主题的引导实验。

挑战完全没有指导吗?

不是。课程将每个挑战描述为带有详细说明和解决方案的小任务。你仍需亲自完成操作,但需要时可以使用所提供的支持。

需要自己的 Hadoop 集群或云账号吗?

所列活动不需要外部集群或云账号。挑战在课程提供的环境中运行,你可以专注于选择并应用 HDFS 命令。

教师

labby
Labby
Labby is the LabEx teacher.

为您推荐

no data