Hadoop DataNode 및 NameNode 관리

소개

최첨단 Tech City Lab 에 오신 것을 환영합니다! 이 가상 현실 환경에서 여러분은 Hadoop HDFS 에서 DataNode 와 NameNode 를 관리하는 기술을 마스터하는 가상 현실 디자이너의 역할을 맡게 됩니다. 이 Lab 의 목표는 Hadoop 클러스터에서 이러한 핵심 구성 요소를 효과적으로 관리하는 실질적인 경험을 제공하는 것입니다.

DataNode 및 NameNode 상태 확인

이 단계에서는 Hadoop 환경에서 DataNode 및 NameNode 서비스를 구성하고 시작합니다.

1. 터미널을 열고 다음 명령을 사용하여 hadoop 사용자로 전환합니다.

   su - hadoop
   

2. NameNode 및 DataNode 서비스가 실행 중이지 않은 경우, 다음 명령을 사용하여 시작합니다.

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

3. jps 명령을 사용하여 NameNode 및 DataNode 서비스가 실행 중인지 확인합니다.

   jps
   

   예상 출력:

   hadoop:~/ $ jps
   2992 ResourceManager
   2406 NameNode
   2807 SecondaryNameNode
   2556 DataNode
   3133 NodeManager
   4462 Jps
   

DataNode 스토리지 관리

이 단계에서는 DataNode 스토리지 공간을 검사하고 관리합니다.

1. DataNode 에서 사용 가능한 스토리지 공간을 확인합니다.

   hdfs dfsadmin -report
   

2. DataNode 에서 특정 파일을 제거합니다.

   hdfs dfs -rm /user/hadoop/testfile.txt
   

   다음 오류 메시지를 받으면: rm: Cannot delete /user/hadoop/testfile.txt. Name node is in safe mode.

   이는 HDFS 가 방금 시작되었고 안전 모드에 있기 때문입니다. 잠시 기다린 후 try again 하십시오.

NameNode 모니터링

이 단계에서는 Hadoop 분산 파일 시스템 (HDFS) 클러스터의 안정성과 상태를 보장하기 위해 NameNode 를 모니터링합니다.

1. HDFS 클러스터의 상태를 확인합니다.

   hdfs dfsadmin -report
   

2. 전체 클러스터 상태를 모니터링합니다.

   hdfs fsck /
   

요약

이 랩에서는 Hadoop HDFS 에서 DataNode 및 NameNode 관리에 관련된 실습에 중점을 두었습니다. 제공된 자세한 단계와 검사기를 따라 Hadoop 클러스터 구성 요소의 설정, 스토리지 관리 및 모니터링에 대한 실질적인 경험을 얻었습니다. Hadoop DataNode 및 NameNode 관리의 세계를 탐험하며 즐거운 시간을 보내세요!