如何通过添加或移除节点扩展 Hadoop YARN 集群

简介

Hadoop YARN 是一个强大的分布式数据处理框架，但随着你的数据和处理需求不断增长，你可能需要相应地扩展你的 Hadoop 集群。本教程将指导你完成通过添加或删除节点来扩展 Hadoop YARN 集群的过程，确保你的基础设施能够应对数据驱动型应用不断变化的需求。

Hadoop YARN 简介

Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调器）是 Hadoop 生态系统的关键组件，负责资源管理和作业调度。它在 Hadoop 2.0 中被引入，旨在解决前一代资源管理系统 Hadoop MapReduce v1（也称为 MRv1 或经典 MapReduce）的局限性。

YARN 引入了两层架构，将前一代 Hadoop MapReduce 框架的资源管理和作业调度/监控功能分离。这种关注点分离使得 YARN 能够支持广泛的分布式处理框架，包括批处理、交互式处理、实时处理和机器学习。

Hadoop YARN 的主要组件包括：

资源管理器（Resource Manager，RM）：中央管理机构，负责为运行在 Hadoop 集群中的各种应用程序分配资源。
节点管理器（Node Manager，NM）：每个节点上的代理，负责启动和监控容器，并向资源管理器报告资源使用情况和状态。
应用程序主节点（Application Master，AM）：每个应用程序的主节点，负责从资源管理器协商资源，并与节点管理器协作执行和监控应用程序的任务。

与前一代 Hadoop MapReduce 框架相比，YARN 提供了几个关键优势：

可扩展性：YARN 可以支持更多的并发应用程序和任务，使其更具可扩展性。
灵活性：YARN 可以支持广泛的分布式处理框架，而不仅仅是 MapReduce。
效率：YARN 允许多个应用程序并发运行，从而更好地利用集群资源。

为了演示 Hadoop YARN 集群的基本设置，让我们考虑以下使用 Ubuntu 22.04 的示例：

## 安装 Hadoop
sudo apt-get update
sudo apt-get install -y openjdk-8-jdk
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzf hadoop-3.3.4.tar.gz
cd hadoop-3.3.4

## 配置 Hadoop 环境
export HADOOP_HOME=$(pwd)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

## 启动 Hadoop YARN 集群
hdfs namenode -format
start-dfs.sh
start-yarn.sh

此设置将启动一个单节点的基本 Hadoop YARN 集群。然后，你可以使用 yarn 命令与集群进行交互并提交应用程序以执行。

graph TD A[客户端] --> B[资源管理器] B --> C[节点管理器] C --> D[容器] D --> E[应用程序主节点] E --> F[任务跟踪器]

通过添加节点扩展 Hadoop YARN 集群

通过添加节点来扩展 Hadoop YARN 集群是一种常见操作，目的是提升集群的处理能力，以应对不断增长的数据和工作负载需求。以下是通过添加新节点来扩展 Hadoop YARN 集群的方法：

准备新节点

在新节点上安装所需软件：

sudo apt-get update
sudo apt-get install -y openjdk-8-jdk
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzf hadoop-3.3.4.tar.gz

在新节点上配置 Hadoop 环境：

export HADOOP_HOME=$(pwd)/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新新节点上的 Hadoop 配置文件（例如 core-site.xml、hdfs-site.xml、yarn-site.xml），使其与现有集群配置一致。

将新节点添加到集群

更新 Hadoop 配置目录中的 slaves 文件，将新节点的主机名或 IP 地址添加进去。
将更新后的 Hadoop 配置复制到集群中的所有节点，包括新节点：
```
scp -r $HADOOP_HOME/etc/hadoop/* user@newnode:$HADOOP_HOME/etc/hadoop/
```

在新节点上启动新的节点管理器（Node Managers）：

ssh user@newnode "$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager"

验证新节点是否已添加到 Hadoop YARN 集群：
```
yarn node -list
```

监控集群扩展情况

添加新节点后，你可以使用以下命令监控集群扩展和资源使用情况：

## 检查集群的整体状态
yarn cluster --status

## 查看集群中活动节点的列表
yarn node -list

## 监控集群的资源使用情况
yarn top

按照这些步骤操作，你可以轻松地通过添加新节点来扩展 Hadoop YARN 集群，从而提升整体处理能力，应对不断增长的数据和工作负载需求。

通过移除节点扩展 Hadoop YARN 集群

当你需要缩小集群规模，或者停用未充分利用或出现故障的节点时，通过移除节点来扩展 Hadoop YARN 集群是一种常见操作。以下是通过移除节点来扩展 Hadoop YARN 集群的方法：

确定要移除的节点

在从集群中移除节点之前，你应该确定适合停用的节点。你可以使用以下命令收集有关集群节点及其资源使用情况的信息：

## 列出集群中的所有节点
yarn node -list

## 检查每个节点的资源使用情况
yarn top

根据收集到的信息，你可以决定从集群中移除哪些节点。

停用节点

为了安全地从 Hadoop YARN 集群中移除节点，你需要停用它们。此过程可确保节点上正在运行的任何应用程序或容器能够正常终止，并释放资源。

更新 Hadoop 配置目录中的 slaves 文件，移除你想要停用的节点的主机名或 IP 地址。

将更新后的 Hadoop 配置复制到集群中的所有节点：

scp -r $HADOOP_HOME/etc/hadoop/* user@node:$HADOOP_HOME/etc/hadoop/

在资源管理器（Resource Manager）上启动停用过程：
```
yarn rmadmin -refreshNodes
```
使用以下命令监控停用过程：
```
yarn node -list
```
等待直到停用的节点不再作为集群的一部分列出。

移除已停用的节点

停用过程完成后，你可以安全地从集群中移除已停用的节点。这可能涉及物理移除节点，或者仅将其关机，具体取决于你的基础设施设置。

按照这些步骤操作，你可以以可控且安全的方式通过移除节点来扩展 Hadoop YARN 集群，确保集群的整体性能和稳定性得以维持。

总结

在本 Hadoop 教程中，你已经学习了如何通过添加或移除节点来扩展 Hadoop YARN 集群。通过了解扩展或缩减 Hadoop 基础设施所涉及的步骤，你可以优化 Hadoop 集群的性能和成本效益，确保随着业务需求的变化，你的数据处理需求能够得到满足。