掌握 Hadoop Node Manager

引言

在神秘的耳语森林深处，有一片神奇的领域，那里的树木随着风的旋律起舞。在这片森林的中心，住着一位智慧而仁慈的女巫，名叫Willow。她的小屋坐落在森林的心脏地带，是古老知识和魔法的庇护所。Willow的使命是维护这片森林领域的微妙平衡，并引导那些寻求她建议的人。

有一天，一位名叫Aiden的年轻学徒偶然闯入了耳语森林，寻求智慧和指导。Aiden曾听说过Willow对强大的Hadoop集群的精通，这个系统能够以无与伦比的效率处理大量数据。Aiden决心学习这项卓越技术的奥秘，于是找到了Willow的小屋，希望成为她的学生，揭开Hadoop的Node Manager的秘密。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopHDFSGroup -.-> hadoop/node("DataNode and NameNode Management") hadoop/HadoopYARNGroup -.-> hadoop/yarn_setup("Hadoop YARN Basic Setup") hadoop/HadoopYARNGroup -.-> hadoop/yarn_log("Yarn Commands log") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/node_manager("Node Manager") subgraph Lab Skills hadoop/node -.-> lab-288988{{"耳语森林 Node Manager 任务"}} hadoop/yarn_setup -.-> lab-288988{{"耳语森林 Node Manager 任务"}} hadoop/yarn_log -.-> lab-288988{{"耳语森林 Node Manager 任务"}} hadoop/yarn_node -.-> lab-288988{{"耳语森林 Node Manager 任务"}} hadoop/node_manager -.-> lab-288988{{"耳语森林 Node Manager 任务"}} end

探索 Node Manager 的角色

在这一步中，你将了解 Node Manager 在 Hadoop YARN 架构中的角色。

Node Manager 是 Hadoop YARN（Yet Another Resource Negotiator）框架中的一个关键组件。它负责管理 Hadoop 集群中各个节点的资源。集群中的每个节点都运行一个 Node Manager 实例，它与 Resource Manager 通信以接收并执行任务。

以下是 Node Manager 的工作原理：

节点注册：当 Node Manager 启动时，它会向 Resource Manager 注册自己，并提供其节点上可用资源的信息，例如 CPU、内存和磁盘空间。
容器管理：Node Manager 负责创建和管理容器（containers），容器是任务的隔离执行环境。每个容器都有由 Resource Manager 定义的特定资源分配。
任务执行：当 Resource Manager 将任务分配给某个节点时，Node Manager 会创建一个容器并在其中启动任务。Node Manager 会监控任务的执行情况，并将其状态报告给 Resource Manager。
资源监控：Node Manager 持续监控每个容器和节点的资源使用情况，确保任务不会消耗超过分配的资源。
健康监控：Node Manager 还会监控节点本身的健康状况，检查是否存在磁盘故障或网络连接问题。如果节点变得不健康，Node Manager 可以向 Resource Manager 报告，Resource Manager 可以采取适当的措施，例如重新启动或重新调度任务。

为了探索 Node Manager 的角色，我们首先切换到 hadoop 用户：

su - hadoop

接下来，我们可以通过运行以下命令来检查 Node Manager 的状态：

yarn node -status <Node-Id>

提示：你可以通过 yarn node -list 命令找到 'Node-Id'。

该命令将显示正在运行的 Node Manager 的信息，包括其地址、节点上的可用资源以及当前正在运行的容器。

hadoop:~/ $ yarn node -status iZj6c4hvgdd6j6qljtbxoaZ:39885          [21:53:30]
2024-03-23 21:54:08,741 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
2024-03-23 21:54:09,119 INFO conf.Configuration: resource-types.xml not found
2024-03-23 21:54:09,128 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
Node Report :
	Node-Id : iZj6c4hvgdd6j6qljtbxoaZ:39885
	Rack : /default-rack
	Node-State : RUNNING
	Node-Http-Address : iZj6c4hvgdd6j6qljtbxoaZ:8042
	Last-Health-Update : Sat 23/Mar/24 09:52:56:762CST
...

检查 Node Manager 日志文件

在这一步中，你将学习如何检查由 Node Manager 生成的日志文件，这些文件可以提供有关其操作和潜在问题的宝贵信息。

Node Manager 的日志文件位于 /home/hadoop/hadoop/logs 目录中。以下是访问和查看这些日志的方法：

cd /home/hadoop/hadoop/logs

列出可用的日志文件：

ls

你应该会看到与 'nodemanager' 相关的文件，例如 log 和 out。

要查看日志文件的内容，你可以使用文本编辑器如 nano 或命令行工具如 tail 或 less。例如：

tail -n 100 hadoop-hadoop-nodemanager-iZj6c0nuyqgkz1limqj5htZ.log

该命令将显示 Node Manager 日志文件的最后 100 行。

...
2024-03-04 13:39:01,626 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Registered with ResourceManager as iZj6c0nuyqgkz1limqj5htZ:41069 with total resource of <memory:8192, vCores:8>
...

日志文件包含各种类型的信息，包括：

Node Manager 的启动和关闭事件
容器的分配和启动
资源使用和监控数据
错误消息和警告

通过检查日志文件，你可以排查与 Node Manager 相关的问题，例如容器启动失败、资源争用或节点健康问题。

配置 Node Manager 属性

在这一步中，你将学习如何配置 Node Manager 的属性，以自定义其行为和资源分配。

Node Manager 的属性定义在 yarn-site.xml 配置文件中，该文件通常位于 /home/hadoop/hadoop/etc/hadoop 目录中。以下是修改这些属性的方法：

cd /home/hadoop/hadoop/etc/hadoop

在文本编辑器中打开 yarn-site.xml 文件：

vim yarn-site.xml

找到 yarn.nodemanager.resource.memory-mb 属性，该属性指定了节点上可以分配给容器的最大物理内存量（以兆字节为单位）。你可以根据集群的内存需求调整此值。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
</property>

另一个重要的属性是 yarn.nodemanager.resource.cpu-vcores，它决定了节点上可以分配给容器的 CPU 核心数量。

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>8</value>
</property>

完成更改后，保存文件并退出文本编辑器。
为了使更改生效，你需要重启 Node Manager：

stop-yarn.sh
start-yarn.sh

通过调整这些属性，你可以配置 Node Manager 以根据集群的需求和工作负载特性分配资源。

总结

在本实验中，你探索了 Hadoop 的 Node Manager 世界，这是 YARN 框架中的一个关键组件。在智慧女巫 Willow 的引导下，你穿越了神秘的耳语森林，了解了 Node Manager 在管理资源、执行任务和维护 Hadoop 集群健康方面的作用。

通过动手实践，你获得了检查 Node Manager 状态、分析其日志文件以及配置其属性以自定义资源分配的实际经验。通过掌握 Node Manager，你解锁了在 Hadoop 生态系统中高效处理海量数据的能力。

本实验不仅为你提供了技术技能，还让你对数据处理的神奇领域有了更深的理解。正如 Willow 维护着森林领域的微妙平衡一样，你现在掌握了利用 Node Manager 的力量并确保 Hadoop 集群最佳性能和稳定性的知识。