Hadoop DataNode と NameNode の管理をマスターする

はじめに

当社の最先端のテックシティ・ラボへようこそ！この仮想現実環境では、あなたはHadoop HDFSにおけるDataNodeとNameNodeの管理スキルを身につける仮想現実デザイナーの役割を担います。この実験の目的は、Hadoopクラスタにおいてこれらの重要なコンポーネントを効果的に管理する実践的な経験を提供することです。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_rm("FS Shell rm") hadoop/HadoopHDFSGroup -.-> hadoop/node("DataNode and NameNode Management") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("Resource Manager") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/fs_rm -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/node -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/yarn_node -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} hadoop/resource_manager -.-> lab-271895{{"Hadoop DataNode と NameNode の管理"}} end

DataNode と NameNode の状態を確認する

このステップでは、Hadoop 環境で DataNode と NameNode サービスを構成して起動します。

ターミナルを開き、hadoop ユーザーに切り替えるコマンドを使用します。
```
su - hadoop
```
NameNode と DataNode サービスが実行されていない場合、次のコマンドを使用して起動します。
```
/home/hadoop/hadoop/sbin/start-dfs.sh
```
jps コマンドを使用して、NameNode と DataNode サービスが実行されているかどうかを確認します。
```
jps
```
予想される出力:
```
hadoop:~/ $ jps
2992 ResourceManager
2406 NameNode
2807 SecondaryNameNode
2556 DataNode
3133 NodeManager
4462 Jps
```

DataNode ストレージの管理

このステップでは、DataNode のストレージ領域を調査して管理します。

DataNode の利用可能なストレージ領域を確認します。
```
hdfs dfsadmin -report
```
DataNode から特定のファイルを削除します。
```
hdfs dfs -rm /user/hadoop/testfile.txt
```
エラーメッセージが表示される場合：「rm: Cannot delete /user/hadoop/testfile.txt. Name node is in safe mode.」

これは、HDFS が起動直後でセーフモードにあるためです。数秒待ってから再度試してください。

NameNode の監視

このステップでは、NameNode を監視して、Hadoop 分散ファイルシステム (HDFS) クラスタの安定性と健全性を確保します。

HDFS クラスタの状態を確認します。
```
hdfs dfsadmin -report
```
クラスタ全体の健全性を監視します。
```
hdfs fsck /
```

まとめ

この実験では、Hadoop HDFS における DataNode と NameNode の管理に関する実践的な演習に焦点を当てました。提供された詳細な手順とチェッカーに従うことで、Hadoop クラスタコンポーネントのセットアップ、管理、監視に関する実践的な経験を得ました。Hadoop DataNode と NameNode の管理の世界を楽しんで探検してください！