如何启动和停止 Hadoop YARN 服务

简介

Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统的一个关键组件，负责在Hadoop集群中管理和分配资源。在本教程中，我们将指导你完成启动和停止Hadoop YARN服务的过程，确保你的Hadoop集群平稳运行。

Hadoop YARN（Yet Another Resource Negotiator）是Apache Hadoop生态系统中的资源管理和作业调度组件。它在Hadoop 2.0中引入，以解决早期MapReduce 1.0（也称为MRv1）框架的局限性。

YARN负责管理Hadoop集群的计算资源（CPU、内存、存储等），并在这些资源上调度用户应用程序的执行。与MapReduce 1.0的整体式设计相比，它提供了更灵活、可扩展的架构。

Hadoop YARN的主要组件包括：

资源管理器（Resource Manager，RM）：管理集群资源并调度应用程序的中央机构。
节点管理器（Node Manager，NM）：在集群中的每个节点上运行的代理，负责启动和监控容器，并向资源管理器报告资源使用情况和状态。
应用程序主节点（Application Master，AM）：每个应用程序的框架，负责从资源管理器协商资源，并与节点管理器合作执行和监控应用程序的任务。
容器（Container）：YARN中的基本执行单元，封装了CPU、内存、磁盘和其他资源。

graph TD
    A[Resource Manager] --> B[Node Manager]
    A --> C[Application Master]
    B --> D[Container]

运行YARN应用程序的典型工作流程如下：

通过将资源管理和作业调度问题与实际数据处理分离，YARN为在Hadoop集群上运行大规模分布式应用程序提供了更具可扩展性和容错性的架构。

要启动Hadoop YARN服务，你需要确保Hadoop集群已正确配置且必要的守护进程正在运行。

sudo /usr/local/hadoop/sbin/start-dfs.sh

sudo /usr/local/hadoop/sbin/start-yarn.sh

sudo /usr/local/hadoop/bin/yarn node -list

此命令将列出所有活动的节点管理器及其资源使用情况。

访问YARN Web界面：
- 资源管理器界面：http://<resource-manager-host>:8088
- 节点管理器界面：http://<node-manager-host>:8042

这些Web界面提供了YARN集群的可视化概述，包括资源利用率、正在运行的应用程序等。

通过遵循这些步骤，你可以成功启动Hadoop YARN服务，并为在集群上运行分布式应用程序做好准备。

当你需要关闭Hadoop YARN服务时，可以按照以下步骤优雅地停止YARN组件。

sudo /usr/local/hadoop/sbin/stop-yarn.sh

此命令将停止在集群节点上运行的所有节点管理器守护进程。

sudo /usr/local/hadoop/bin/yarn rmadmin -shutdownRM

此命令将优雅地关闭资源管理器守护进程。

在停止YARN服务之后，如果需要，你还可以停止HDFS服务（名称节点和数据节点）：

sudo /usr/local/hadoop/sbin/stop-dfs.sh

此命令将停止在集群上运行的HDFS守护进程。

你可以通过检查进程状态来验证YARN和HDFS服务是否已关闭：

sudo jps

此命令将列出系统上运行的所有Java进程。停止服务后，你不应再看到任何与Hadoop相关的进程。

通过遵循这些步骤，你可以成功停止Hadoop YARN服务，如有必要，还可以停止HDFS服务。当你需要进行维护、升级集群或因任何原因关闭系统时，这会很有用。

本教程提供了一份关于管理Hadoop YARN服务的全面指南，涵盖了有效启动和停止这些服务的步骤。通过了解如何控制Hadoop YARN的生命周期，你可以确保Hadoop集群的最佳性能和可靠性，使其成为满足你数据处理需求的宝贵资源。