监控和管理应用程序
在这一步中,我们将学习如何使用资源管理器(Resource Manager)监控和管理运行在 Hadoop 集群上的应用程序。
资源管理器提供了一个 Web 用户界面(UI),允许你监控和管理集群的资源以及正在运行的应用程序。要访问资源管理器 UI,请打开浏览器并导航到 http://<resource-manager-hostname>:8088
。
在资源管理器 UI 中,你会看到多个部分,这些部分提供了关于集群、节点和应用程序的信息。以下是一些关键功能:
- 集群指标(Cluster Metrics):此部分显示集群的整体指标,例如总可用资源、正在运行的应用程序数量以及资源利用率。
- 节点管理器(Node Managers):此部分列出集群中所有活动的 NodeManager,以及它们的状态、可用资源和正在运行的容器。
- 正在运行的应用程序(Running Applications):此部分显示当前正在运行的应用程序、它们的进度、资源使用情况和其他详细信息。
- 应用程序历史(Application History):此部分提供已完成应用程序的历史视图,包括它们的日志和指标。
为了演示如何使用资源管理器 UI 管理应用程序,让我们向集群提交一个新的应用程序。
## 向集群提交一个 WordCount 作业
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output
此脚本向集群提交了一个 WordCount MapReduce 作业。在运行脚本之前,请确保创建输入目录并将一些文本文件放入其中:
hdfs dfs -mkdir -p /home/hadoop/input
hdfs dfs -put /home/hadoop/hello.txt /home/hadoop/input
提交作业后,你可以从资源管理器 UI 中监控其进度并管理它。你可以查看作业的日志、在必要时终止作业,或者在作业完成后检查输出目录。
查看输入文件内容:
hadoop:~/ $ hadoop fs -cat /home/hadoop/input/* [22:56:37]
hello labex
hello hadoop
hello spark
hello flink
查看输出文件内容:
hadoop:~/ $ hadoop fs -cat /home/hadoop/output/* [22:57:37]
flink 1
hadoop 1
hello 4
labex 1
spark 1