Hadoop FS Shell tail

소개

고대 왕국에서 사나운 용이 마을에 불을 질러 혼란을 일으키는 시나리오를 상상해 보십시오. 왕은 용의 움직임을 추적하고 파괴적인 행동을 막을 해결책을 찾고 있습니다. 이 랩에서는 Hadoop HDFS 기술인 "FS Shell tail"을 사용하여 실시간 데이터를 분석하고 용의 행방을 추적하여 왕국을 보호할 것입니다.

용의 흔적 확인

이 단계에서는 Hadoop FS Shell 의 "tail" 명령을 사용하여 특정 파일의 변경 사항을 모니터링하여 용 목격 데이터를 시뮬레이션합니다.

터미널을 열고 아래 단계를 따라 시작하십시오.

1. 적절한 권한을 위해 Hadoop 사용자로 전환합니다.

   su - hadoop

2. 초기 데이터를 포함하는 dragon_sightings.txt라는 텍스트 파일을 생성합니다.

   echo "A man saw the dragon." > /home/hadoop/dragon_sightings.txt

3. 파일을 /home/hadoop 디렉토리에 업로드합니다.

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt

4. 파일 dragon_sightings.txt의 마지막 몇 줄을 확인하여 최신 목격 정보를 확인합니다.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt

지속적인 모니터링

이제 while 루프와 "tail" 명령을 사용하여 용 목격 파일의 업데이트를 지속적으로 모니터링하는 스크립트를 만들어 보겠습니다.

1. monitor_dragon_sightings.sh라는 스크립트 파일을 생성합니다.

   nano /home/hadoop/monitor_dragon_sightings.sh

   다음 내용을 파일에 추가합니다.

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done

   파일을 저장하고 편집기를 종료합니다.

2. 스크립트를 실행 가능하게 만들고 실행하여 파일 모니터링을 시작합니다.

   chmod +x monitor_dragon_sightings.sh

   ./monitor_dragon_sightings.sh

요약

이 랩에서는 Hadoop FS Shell 을 사용하여 고대 왕국에서 용의 목격 정보를 추적하는 시나리오를 만들었습니다. "tail" 명령을 실습함으로써 실시간 데이터 변경 사항을 모니터링하고 지속적인 모니터링 스크립트를 설정하는 방법을 배웠습니다. 이 실습 경험은 Hadoop 이 빅 데이터 처리와 관련된 실시간 데이터 분석 및 모니터링 작업에 어떻게 사용될 수 있는지 이해하는 데 도움이 됩니다. 용 추적을 즐겁게 하세요!