Hadoop FS Shell find

소개

이 랩에서는 Hadoop HDFS 의 세계를 탐구하고 FS Shell 의 find 명령에 집중할 것입니다. 마치 숨겨진 보물과 비밀을 찾아 고대 사원을 탐험하는 고고학자가 된 자신을 상상해 보세요. 여러분의 목표는 FS Shell find 명령을 사용하여 광대한 Hadoop 파일 시스템을 탐색하고, 마치 사원에서 숨겨진 유물을 발굴하는 것처럼 탐색하는 것입니다.

환경 설정

이 단계에서는 FS Shell find 명령을 사용하기 전에 Hadoop 환경이 제대로 설정되었는지 확인합니다.

터미널을 열고 아래 단계를 따라 시작하십시오.

1. hadoop 사용자로 전환합니다:

   su - hadoop
   

2. Hadoop 버전을 확인합니다:

   hadoop version
   

3. HDFS 루트 디렉토리에 example.txt 파일을 생성합니다:

   echo "This is an example file." | hdfs dfs -put - /example.txt
   

파일 정보 검색

이 단계에서는 FS Shell find 명령을 사용하여 Hadoop 파일 시스템 내에서 특정 파일을 찾는 방법을 보여줍니다.

1. HDFS 루트 디렉토리 내에서 example.txt라는 파일을 검색합니다:

   hdfs dfs -find / -name "example.txt"
   

2. FS Shell stat 명령을 사용하여 파일에 대한 정보를 검색합니다:

   hdfs dfs -stat "%n %y %r" /example.txt > /home/hadoop/example_info.txt
   cat /home/hadoop/example_info.txt
   

hdfs dfs -stat 명령은 HDFS 의 파일 또는 디렉토리에 대한 상태 정보를 검색하는 데 사용됩니다. 다양한 형식 옵션을 사용하여 출력 정보를 사용자 정의할 수 있습니다. 다음은 일반적으로 사용되는 형식 옵션과 그 의미입니다:

• %b: 파일 크기 (바이트).
• %n: 파일 이름.
• %o: 블록 크기.
• %r: 복제 인자.
• %u: 사용자 이름.
• %g: 그룹 이름.
• %y: 수정 시간 (yyyy-MM-dd HH:mm:ss 형식).
• %F: 파일 유형 (파일, 디렉토리 또는 심볼릭 링크).

디렉토리 분석

이 단계에서는 FS Shell find 를 사용하여 디렉토리와 해당 내용을 분석하는 방법을 살펴봅니다.

1. /user 디렉토리 아래의 모든 디렉토리를 나열합니다:

   hdfs dfs -ls /user
   

2. /user 디렉토리 아래에 superDirectory라는 디렉토리를 생성하고 권한을 777 (rwxrwxrwx) 로 설정합니다:

   hdfs dfs -mkdir /user/superDirectory
   hdfs dfs -chmod 777 /user/superDirectory
   

3. FS Shell find 를 사용하여 superDirectory를 찾습니다:

   hdfs dfs -find /user -name "superDirectory"
   

4. FS Shell 을 사용하여 특정 권한을 가진 디렉토리를 식별합니다:

   hdfs dfs -ls /user | grep '^drwxrwxrwx'
   

요약

이 랩에서는 Hadoop HDFS 의 세계에 몰입하여 FS Shell find 명령의 기능을 탐구했습니다. 사찰에서 고고학 탐험을 시뮬레이션함으로써 Hadoop 파일 시스템 내에서 파일과 디렉토리를 효과적으로 검색하고 분석하는 방법을 배웠습니다. 이 실습 경험은 Hadoop 에서 복잡한 데이터 구조를 관리하고 탐색하는 방법에 대한 통찰력을 제공하여 HDFS 운영에 대한 이해를 높였습니다.