Hadoop FS Shell du

소개

우주 자원 수집가로서 우주 무역 기지에 있다고 상상해 보세요. 여러분의 목표는 Hadoop FS Shell 에서 du 명령어를 사용하여 Hadoop HDFS 에 저장된 데이터를 효율적으로 관리하고 분석하는 것입니다. du 사용법을 이해함으로써 HDFS 내 파일 및 디렉토리의 디스크 사용량 정보를 검색할 수 있습니다.

디스크 사용량 정보 검색

이 단계에서는 du 명령어를 사용하여 Hadoop HDFS 내 파일 및 디렉토리의 디스크 사용량 정보를 표시하는 방법을 배웁니다.

터미널을 열고 다음 단계를 따라 시작하십시오.

1. Hadoop 사용자로 전환합니다:

   su - hadoop

2. HDFS 홈 디렉토리에서 샘플 디렉토리와 파일을 생성합니다:

   hdfs dfs -mkdir /user/hadoop/sample_dir

   echo "sample_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sample_file.txt

3. sample_dir 디렉토리의 디스크 사용량을 확인하고 결과를 텍스트 파일에 입력합니다:

   hdfs dfs -du -v /user/hadoop/sample_dir > /home/hadoop/du_result.txt

4. 출력 결과는 sample_dir 디렉토리의 디스크 사용량을 사람이 읽을 수 있는 형식으로 표시합니다.

   cat /home/hadoop/du_result.txt

   출력:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   12 12 /user/hadoop/sample_dir/sample_file.txt

재귀적으로 디스크 사용량 분석

이 단계에서는 du에 대한 지식을 확장하여 Hadoop HDFS 내 디렉토리의 디스크 사용량을 재귀적으로 분석합니다.

1. sample_dir 디렉토리 내에 하위 디렉토리와 파일을 생성합니다:

   hdfs dfs -mkdir /user/hadoop/sample_dir/sub_dir

   echo "sub_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sub_dir/sub_file.txt

2. 하위 디렉토리를 포함하여 sample_dir 디렉토리의 디스크 사용량을 확인합니다:

   hdfs dfs -du -s -v /user/hadoop/sample_dir > /home/hadoop/du_result2.txt

3. 출력 결과는 하위 디렉토리를 포함하여 sample_dir 디렉토리의 총 디스크 사용량을 표시합니다.

   cat /home/hadoop/du_result2.txt

   출력:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   21 21 /user/hadoop/sample_dir

요약

이 랩에서는 Hadoop FS Shell 에서 du 명령어를 사용하여 Hadoop HDFS 내 파일 및 디렉토리의 디스크 사용량 정보를 검색하는 데 중점을 두었습니다. 이 명령어를 숙달함으로써 Hadoop 클러스터 내에서 스토리지 소비를 효율적으로 관리하고 분석할 수 있습니다. 이 랩은 Hadoop HDFS 관리에 대한 기술을 향상시키려는 초보자에게 실습 경험과 실용적인 지식을 제공하는 것을 목표로 했습니다.