Hadoop FS Shell appendToFile

소개

와일드 웨스트를 배경으로 하는 Hadoop FS Shell 랩에 오신 것을 환영합니다! 당신은 낡은 광산에서 풍부한 금맥을 발견한 잭이라는 금광부입니다. 당신의 과제는 Hadoop HDFS FS Shell 의 appendToFile 기능을 사용하여 채굴 데이터를 효율적으로 관리하고 업데이트하는 것입니다.

파일 생성 및 데이터 추가

이 단계에서는 HDFS 에 새 파일을 생성하고, 초기 데이터를 작성한 다음, appendToFile 명령을 사용하여 파일에 더 많은 데이터를 추가합니다.

1. 터미널에서 hadoop 사용자로 전환합니다:

   su - hadoop

2. /home/hadoop 디렉토리에 초기 내용으로 mining_data.txt라는 새 파일을 생성합니다:

   echo "Initial data for mining analysis" > mining_data.txt

3. HDFS / 디렉토리에 mining_data.txt라는 새 파일을 생성합니다:

   hdfs dfs -touchz /mining_data.txt

4. mining_data.txt 파일에 더 많은 데이터를 추가합니다:

   hdfs dfs -appendToFile /home/hadoop/mining_data.txt /mining_data.txt

   다음은 명령과 구성 요소에 대한 설명입니다:

• hdfs: HDFS 와 상호 작용하기 위한 명령줄 도구입니다.
• dfs: hdfs 도구의 하위 명령으로, HDFS 작업을 위해 특별히 사용됩니다.
• -appendToFile: hdfs dfs 명령의 옵션으로, 데이터를 대상 파일에 추가해야 함을 나타냅니다.
• /home/hadoop/mining_data.txt: 추가할 데이터가 포함된 소스 파일의 경로입니다.
• /mining_data.txt: 데이터가 추가될 HDFS 의 대상 파일 경로입니다.

hdfs dfs -appendToFile 명령이 실행되면 지정된 소스 파일에서 데이터를 읽어 HDFS 의 대상 파일에 추가합니다.

추가된 데이터 확인 및 업데이트

이 단계에서는 mining_data.txt 파일의 내용을 보고, 더 많은 데이터를 추가한 다음, 변경 사항을 확인합니다.

1. mining_data.txt 파일의 현재 내용을 봅니다:

   hdfs dfs -cat /mining_data.txt

2. 파일에 추가 데이터를 추가합니다:

   echo "New mining data for analysis" | hdfs dfs -appendToFile - /mining_data.txt

3. 업데이트된 파일 내용을 확인합니다:

   hdfs dfs -cat /mining_data.txt

요약

이 랩에서는 Hadoop FS Shell 에서 appendToFile 작업을 탐구하여 HDFS 에서 데이터를 효율적으로 관리하고 업데이트하는 방법을 살펴보았습니다. 제공된 단계를 따라 FS Shell 명령을 사용하여 HDFS 에서 파일을 생성, 추가 및 업데이트하는 방법을 배웠습니다. 이 실습 경험은 Hadoop 의 HDFS 작업을 마스터하는 여정에서 가치 있을 것입니다. 즐거운 마이닝 되세요!