Hadoop DataNode と NameNode の管理

HadoopHadoopBeginner
今すぐ練習

💡 このチュートリアルは英語版からAIによって翻訳されています。原文を確認するには、 ここをクリックしてください

はじめに

当社の最先端のテックシティ・ラボへようこそ!この仮想現実環境では、あなたはHadoop HDFSにおけるDataNodeとNameNodeの管理スキルを身につける仮想現実デザイナーの役割を担います。この実験の目的は、Hadoopクラスタにおいてこれらの重要なコンポーネントを効果的に管理する実践的な経験を提供することです。


Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_rm("FS Shell rm") hadoop/HadoopHDFSGroup -.-> hadoop/node("DataNode and NameNode Management") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("Resource Manager") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/fs_rm -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/node -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/yarn_node -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/resource_manager -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} end

DataNode と NameNode の状態を確認する

このステップでは、Hadoop 環境で DataNode と NameNode サービスを構成して起動します。

  1. ターミナルを開き、hadoop ユーザーに切り替えるコマンドを使用します。

    su - hadoop
  2. NameNodeDataNode サービスが実行されていない場合、次のコマンドを使用して起動します。

    /home/hadoop/hadoop/sbin/start-dfs.sh
  3. jps コマンドを使用して、NameNodeDataNode サービスが実行されているかどうかを確認します。

    jps

    予想される出力:

    hadoop:~/ $ jps
    2992 ResourceManager
    2406 NameNode
    2807 SecondaryNameNode
    2556 DataNode
    3133 NodeManager
    4462 Jps

DataNode ストレージの管理

このステップでは、DataNode のストレージ領域を調査して管理します。

  1. DataNode の利用可能なストレージ領域を確認します。

    hdfs dfsadmin -report
  2. DataNode から特定のファイルを削除します。

    hdfs dfs -rm /user/hadoop/testfile.txt

    エラーメッセージが表示される場合:「rm: Cannot delete /user/hadoop/testfile.txt. Name node is in safe mode.」

    これは、HDFS が起動直後でセーフモードにあるためです。数秒待ってから再度試してください。

NameNode の監視

このステップでは、NameNode を監視して、Hadoop 分散ファイルシステム (HDFS) クラスタの安定性と健全性を確保します。

  1. HDFS クラスタの状態を確認します。

    hdfs dfsadmin -report
  2. クラスタ全体の健全性を監視します。

    hdfs fsck /

まとめ

この実験では、Hadoop HDFS における DataNode と NameNode の管理に関する実践的な演習に焦点を当てました。提供された詳細な手順とチェッカーに従うことで、Hadoop クラスタコンポーネントのセットアップ、管理、監視に関する実践的な経験を得ました。Hadoop DataNode と NameNode の管理の世界を楽しんで探検してください!