Hadoop YARN 命令应用

HadoopHadoopBeginner
立即练习

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

引言

在广袤无垠且环境恶劣的撒哈拉沙漠中,一位著名的探险家踏上了一段大胆的探险之旅,旨在揭开一个古老文明的秘密。头顶烈日,脚下是不断移动的沙丘,他们必须穿越险恶的沙丘和严酷的环境,才能到达目的地——一个据传藏有无价之宝的隐秘考古遗址。

他们的任务不仅是挖掘这些古代遗物,还要研究这个被遗忘已久的社会所使用的先进技术。幸运的是,探险家携带了一个强大的工具——Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调器),这是一种集群管理技术,将帮助他们在探险过程中处理和分析大量数据。


Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("`Hadoop`")) -.-> hadoop/HadoopYARNGroup(["`Hadoop YARN`"]) hadoop/HadoopYARNGroup -.-> hadoop/yarn_setup("`Hadoop YARN Basic Setup`") hadoop/HadoopYARNGroup -.-> hadoop/yarn_app("`Yarn Commands application`") hadoop/HadoopYARNGroup -.-> hadoop/yarn_jar("`Yarn Commands jar`") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("`Yarn Commands node`") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("`Resource Manager`") hadoop/HadoopYARNGroup -.-> hadoop/node_manager("`Node Manager`") subgraph Lab Skills hadoop/yarn_setup -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} hadoop/yarn_app -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} hadoop/yarn_jar -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} hadoop/yarn_node -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} hadoop/resource_manager -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} hadoop/node_manager -.-> lab-289009{{"`Hadoop YARN 命令应用`"}} end

探索 Hadoop YARN 资源管理器

在这一步中,我们将探索 Hadoop YARN 资源管理器(Resource Manager),它负责管理集群资源并调度应用程序。

首先,通过在终端中运行以下命令切换到 hadoop 用户:

su - hadoop

接下来,通过执行以下命令获取 YARN 资源管理器的相关信息:

yarn node --list

该命令将显示 Hadoop 集群中活跃的 NodeManager 列表,以及它们的状态、节点 ID 和其他相关信息。

以下是一个示例输出:

2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587	        RUNNING	iZj6cb368r3kuiwgkci85bZ:8042	                           0

提交 YARN 应用程序

在这一步中,我们将学习如何向集群提交一个 YARN 应用程序。我们将使用一个简单的案例来计算 pi 值。

yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3

输出将包含计算结果。

Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556

总结

在本实验中,我们探索了 Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调器),并学习了如何与资源管理器(Resource Manager)交互以管理集群资源和调度应用程序。我们首先列出了集群中活跃的 NodeManager,这让我们对可用资源有了更深入的了解。

接下来,我们提交了一个 YARN 应用程序,用于计算 pi 值到 25 位小数。该应用程序成功提交并执行,展示了 YARN 高效分配资源和执行分布式任务的能力。

通过本实验,我掌握了 YARN 命令的实践知识,并学会了如何利用 Hadoop 的强大功能进行分布式计算任务。理论概念与动手实践的结合,巩固了我对这一强大技术的理解,为我应对实际场景中高效数据处理和分析的需求做好了准备。

您可能感兴趣的其他 Hadoop 教程