Hadoop FS Shell expunge

소개

성간 기지에 위치한 흥미진진한 랩에 오신 것을 환영합니다. 여러분은 숙련된 은하간 통신자의 역할을 맡게 됩니다. 이 시나리오에서 여러분은 데이터 무결성을 유지하고 스토리지 활용도를 최적화하기 위해 FS Shell 의 expunge 명령을 사용하여 Hadoop HDFS 를 관리하는 임무를 맡게 됩니다. 여러분의 임무는 불필요한 파일과 디렉토리를 효율적으로 정리하여 스토리지 공간을 확보하고 시스템 성능을 향상시키는 것입니다.

HDFS 휴지통 기능 활성화 및 구성

이 단계에서는 Hadoop FS Shell 에 액세스하여 Hadoop 분산 파일 시스템 (Hadoop Distributed File System, HDFS) 의 현재 파일과 디렉토리를 검사하는 것으로 시작해 보겠습니다.

1. 터미널을 열고 hadoop 사용자로 전환합니다.

   su - hadoop
   

2. 휴지통 기능을 활성화하기 위해 /home/hadoop/hadoop/etc/hadoop/core-site.xml 파일을 수정합니다.

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   <configuration> 태그 사이에 다음 속성을 추가합니다.

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   파일을 저장하고 텍스트 편집기를 종료합니다.

3. HDFS 서비스를 다시 시작합니다.

   HDFS 서비스 중지:

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   HDFS 서비스 시작:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. HDFS 에서 파일을 생성하고 삭제합니다.

   HDFS 에서 파일 생성:

   hdfs dfs -touchz /user/hadoop/test.txt
   

   파일 삭제:

   hdfs dfs -rm /user/hadoop/test.txt
   

5. 휴지통 기능이 활성화되었는지 확인합니다.

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   삭제한 파일이 휴지통 디렉토리에 표시되어야 합니다.

불필요한 파일 삭제 (Expunge)

이제 FS Shell 의 expunge 명령을 사용하여 불필요한 파일과 디렉토리를 제거해 보겠습니다.

1. 모든 휴지통 검사점을 제거합니다.

   hdfs dfs -expunge -immediate
   

2. 불필요한 파일이 성공적으로 제거되었는지 확인합니다.

   hdfs dfs -ls /user/hadoop/.Trash
   

   파일이나 디렉토리가 나열되지 않아야 합니다.

요약

이 랩에서는 Hadoop 분산 파일 시스템 (Hadoop Distributed File System, HDFS) 에서 데이터 스토리지를 관리하고 최적화하기 위해 Hadoop FS Shell 의 expunge 명령의 강력한 기능을 살펴보았습니다. FS Shell 을 시작하고, 현재 파일을 보고, 불필요한 데이터를 제거하는 방법을 배움으로써 데이터 무결성을 유지하고 시스템 성능을 향상시키는 데 대한 귀중한 통찰력을 얻었습니다. 이러한 기술을 연습하면 Hadoop 환경을 효율적으로 관리하고 원활한 운영을 보장할 수 있습니다.