提交 YARN 作业
在 YARN 服务启动并运行后,让我们提交一个示例作业来测试 YARN 的资源分配和调度能力。
首先,在 Hadoop 文件系统中准备一个名为 input.txt
的输入文本文件,其中包含需要统计词频的文本内容。
echo -e "Hello World\nHello Hadoop\nYARN is cool" > input.txt
hadoop fs -put input.txt /input.txt
然后,示例程序的 JAR 文件可以在 Hadoop 安装目录中找到,通常位于 $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar
。你可以使用这个 JAR 文件来运行 Word Count 程序。
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input.txt /output
该命令将 MapReduce 作业提交给 YARN ResourceManager,ResourceManager 将分配资源并在可用的 NodeManager 上调度作业。
作业完成后,你可以在 /output
目录中查看输出:
hdfs dfs -cat /output/part-r-00000
这将显示词频统计结果:
Hadoop 1
Hello 2
World 1
YARN 1
cool 1
is 1