Hadoop YARN コマンドで古代の秘密を解明する

はじめに

広大で過酷なサハラ砂漠で、著名な探検家が古代文明の秘密を解き明かす大胆な探検に乗り出します。頭上に燃える太陽と、足元を流れる砂の中を、彼らは危険な砂丘と厳しい条件を乗り越えて、目標である、貴重な遺物が埋まっていると噂される隠れた考古学的遺跡にたどり着かなければなりません。

彼らの使命は、これらの古代遺物を掘り出すだけでなく、長い間忘れられていた社会が使用していた高度な技術を研究することです。幸いなことに、探検家は強力なツールであるHadoop YARN（Yet Another Resource Negotiator）を持ち込んでおり、これはクラスタ管理技術で、彼らが探求の過程で遭遇する膨大なデータを処理および分析するのに役立ちます。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopYARNGroup -.-> hadoop/yarn_setup("Hadoop YARN Basic Setup") hadoop/HadoopYARNGroup -.-> hadoop/yarn_app("Yarn Commands application") hadoop/HadoopYARNGroup -.-> hadoop/yarn_jar("Yarn Commands jar") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("Resource Manager") hadoop/HadoopYARNGroup -.-> hadoop/node_manager("Node Manager") subgraph Lab Skills hadoop/yarn_setup -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} hadoop/yarn_app -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} hadoop/yarn_jar -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} hadoop/yarn_node -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} hadoop/resource_manager -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} hadoop/node_manager -.-> lab-289009{{"Hadoop Yarn コマンドアプリケーション"}} end

Hadoop YARN リソースマネージャを調べる

このステップでは、クラスタリソースの管理とアプリケーションのスケジューリングを担当する Hadoop YARN リソースマネージャを調べます。

まず、ターミナルで次のコマンドを実行して hadoop ユーザーに切り替えましょう。

su - hadoop

次に、次のコマンドを実行して YARN リソースマネージャに関する情報を取得します。

yarn node --list

このコマンドは、Hadoop クラスタ内のアクティブな NodeManager のリストと、それぞれのステータス、ノード ID、およびその他の関連情報を表示します。

以下は出力例です。

2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587	        RUNNING	iZj6cb368r3kuiwgkci85bZ:8042	                           0

YARN アプリケーションを提出する

このステップでは、YARN アプリケーションをクラスタに提出する方法を学びます。円周率を計算する簡単なケースを使います。

yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3

出力には計算結果が含まれます。

Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556

まとめ

この実験では、Hadoop YARN（Yet Another Resource Negotiator）を調べ、クラスタリソースを管理してアプリケーションをスケジューリングするために、リソースマネージャとやり取りする方法を学びました。まず、クラスタ内のアクティブな NodeManager を一覧表示することから始め、利用可能なリソースの洞察を得ました。

次に、円周率の値を25桁まで計算する YARN アプリケーションを提出しました。このアプリケーションは正常に提出されて実行され、YARN が効率的にリソースを割り当てて分散タスクを実行する能力を示しています。

この実験を通じて、YARN コマンドの実践的な知識と、分散コンピューティングタスクに Hadoop の力をどのように活用するかを学びました。理論的な概念と実践的な演習の組み合わせにより、この強力な技術の理解が深まり、効率的なデータ処理と分析が重要な実世界のシナリオに備えることができました。