监控 YARN 节点状态
在 Hadoop YARN ResourceManager 和 NodeManager 服务运行的情况下,你现在可以监控 YARN 节点的状态,以确保它们正常运行,并识别任何潜在问题或漏洞。
- 执行以下命令以获取 YARN 节点的详细信息:
yarn node -list -showDetails
此命令将显示集群中所有 YARN 节点的状态。
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955 RUNNING iZj6c3h5jra6dj4yhykndeZ:8042 0
Detailed Node Information :
Configured Resources : <memory:8192, vCores:8>
Allocated Resources : <memory:0, vCores:0>
Resource Utilization by Node : PMem:2888 MB, VMem:2888 MB, VCores:0.07997334
Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0
Node-Labels :
- 要查看特定 YARN 节点的更多详细信息,请运行以下命令:
yarn node -status <node-id>
将 <node-id>
替换为你想要检查的节点的 ID,例如 node.example.com:8041
。
- 分析输出以识别任何处于不健康状态或遇到问题的节点。查找诸如节点处于非 RUNNING 状态、节点有大量失败容器或节点资源利用率高等指标。
以下是一个健康 YARN 节点的输出示例:
Node Report :
Node-Id : iZj6c3h5jra6dj4yhykndeZ:44955
Rack : /default-rack
Node-State : RUNNING
Node-Http-Address : iZj6c3h5jra6dj4yhykndeZ:8042
Last-Health-Update : Sun 24/Mar/24 12:18:18:816CST
Health-Report :
Containers : 0
Memory-Used : 0MB
Memory-Capacity : 8192MB
CPU-Used : 0 vcores
CPU-Capacity : 8 vcores
Node-Labels :
Node Attributes :
Resource Utilization by Node : PMem:2898 MB, VMem:2898 MB, VCores:0.22659113
Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0