如何排查 Hadoop YARN 中的“应用未找到”问题

简介

Hadoop YARN 是 Hadoop 生态系统的一个关键组件，负责为 Hadoop 应用程序管理和调度资源。然而，有时用户可能会遇到“应用未找到”的问题，这可能会令人沮丧并扰乱他们的 Hadoop 工作流程。本教程将指导你完成识别和解决这个常见问题的过程，帮助你确保 Hadoop 应用程序顺利运行。

Hadoop YARN 简介

Hadoop YARN（又一个资源协调器）是 Apache Hadoop 生态系统的一个关键组件，负责资源管理和作业调度。它在 Hadoop 2.0 中引入，以解决先前资源管理系统 JobTracker 的局限性，JobTracker 是单点故障和性能瓶颈。

YARN 旨在提供一个更具可扩展性和灵活性的资源管理系统，允许执行各种类型的应用程序，包括批处理、交互式处理和实时处理。

YARN 架构

YARN 采用主从架构，主要组件包括：

graph TD
    A[资源管理器] -- 管理集群资源 --> B[节点管理器]
    B -- 运行容器 --> C[应用程序主节点]
    C -- 协商资源 --> B

资源管理器（ResourceManager）：管理集群资源并调度应用程序的中央机构。
节点管理器（NodeManager）：负责在每个节点上启动和监控容器，并向资源管理器报告节点的资源使用情况和状态的代理。
应用程序主节点（Application Master）：每个应用程序的框架，从资源管理器协商资源，并与节点管理器合作执行和监控应用程序的任务。

YARN 应用程序执行

在 YARN 中执行应用程序的典型流程如下：

客户端将应用程序提交给资源管理器。
资源管理器分配所需资源并启动应用程序主节点。
应用程序主节点根据需要从资源管理器协商额外资源，并在节点管理器上启动应用程序的任务。
节点管理器执行任务并将其状态报告回应用程序主节点。
应用程序主节点监控应用程序的进度并将状态报告回资源管理器。

graph LR
    A[客户端] -- 提交应用程序 --> B[资源管理器]
    B -- 分配资源 --> C[应用程序主节点]
    C -- 协商资源 --> B
    C -- 启动任务 --> D[节点管理器]
    D -- 执行任务 --> C
    C -- 报告状态 --> B

通过了解 YARN 架构和应用程序执行流程，你可以更好地排查 Hadoop 生态系统中与“应用未找到”相关的问题。

识别“应用未找到”问题

Hadoop YARN 中出现“应用未找到”错误可能有多种原因，包括配置错误、资源耗尽或应用本身的问题。要确定此问题的根本原因，你可以按以下步骤操作：

检查资源管理器日志

第一步是检查资源管理器日志，它可以提供有关应用状态以及可能发生的任何错误的有价值信息。你可以通过访问 Hadoop 网页用户界面或在资源管理器节点上运行以下命令来访问资源管理器日志：

sudo tail -n 100 /var/log/hadoop-yarn/resourcemanager/resourcemanager.log

查找与“应用未找到”问题相关的任何错误消息或异常。

验证应用提交

确保应用已正确提交到 YARN 集群。你可以使用 YARN 命令行界面检查应用的状态：

yarn application -list

此命令将显示 YARN 集群中运行的所有应用的列表及其状态。如果应用未列出或状态为“FAILED”，则可能是“应用未找到”错误的原因。

检查应用程序主节点日志

如果应用在 YARN 集群中列出但未运行，你可以检查应用程序主节点日志以获取更多信息。可以通过运行以下命令访问应用程序主节点日志：

yarn logs -applicationId <application_id>

将 <application_id> 替换为你正在调查的应用的 ID。在日志中查找任何可能提供“应用未找到”问题根本原因线索的错误消息或异常。

检查节点管理器日志

在某些情况下，问题可能与负责启动和监控应用容器的节点管理器有关。你可以在节点管理器节点上运行以下命令来检查节点管理器日志：

sudo tail -n 100 /var/log/hadoop-yarn/nodemanager/nodemanager.log

查找与应用容器或资源分配相关的任何错误或警告。

通过执行这些步骤，你可以收集必要的信息来确定 Hadoop YARN 中“应用未找到”问题的根本原因，这将帮助你更有效地解决问题。

解决“应用未找到”错误

一旦你确定了“应用未找到”问题的根本原因，就可以采取以下步骤来解决该问题：

验证应用提交

如果问题与应用提交有关，请确保应用已正确提交。检查以下内容：

验证应用的配置文件，例如 job.xml 或 application.properties，以确保所有必需的参数都已正确设置。
确保应用的可执行文件或脚本可访问，并且可以在 YARN 集群上执行。
检查用户权限，以确保提交应用的用户具有访问所需资源的必要权限。

增加资源分配

如果问题与资源耗尽有关，你可以尝试增加 YARN 集群或特定应用的资源分配。你可以通过修改以下配置参数来实现：

资源管理器内存：通过修改 yarn-site.xml 文件中的 yarn.resourcemanager.resource.memory 参数，增加分配给资源管理器的内存。
节点管理器内存：通过修改 yarn-site.xml 文件中的 yarn.nodemanager.resource.memory-mb 参数，增加分配给节点管理器的内存。
应用内存：通过修改 mapred-site.xml 文件中的 mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb 参数，增加分配给应用的内存。

进行更改后，重启受影响的 YARN 服务，使更改生效。

重启 YARN 服务

如果问题仍然存在，你可以尝试重启 YARN 服务，包括资源管理器和节点管理器。这有助于解决与 YARN 基础设施相关的任何问题。你可以使用以下命令重启 YARN 服务：

sudo systemctl restart hadoop-yarn-resourcemanager
sudo systemctl restart hadoop-yarn-nodemanager

检查应用依赖项

如果问题与应用本身有关，请确保 YARN 集群上所有必需的依赖项、库和资源都可用且可访问。这可能包括检查应用的类路径、jar 文件以及它所依赖的任何外部资源。

通过遵循这些步骤，你应该能够解决 Hadoop YARN 中的“应用未找到”问题，并确保你的应用在 YARN 集群上顺利运行。

总结

在本 Hadoop 教程中，你已经学习了如何排查 Hadoop YARN 中的“应用未找到”问题。通过了解此问题的根本原因并应用适当的故障排除技术，你可以有效地解决此问题并维护 Hadoop 基础设施的可靠性。