Hadoop FS Shell cp

소개

Hadoop 의 HDFS(Hadoop Distributed File System) 의 경이로움을 copy 기술로 선보일 특별한 마법사가 있는 마법 카니발에 오신 것을 환영합니다. 이 매혹적인 시나리오에서 마법사는 Hadoop FS Shell 명령을 사용하여 파일을 복사하는 방법을 시연하여 여러분의 Hadoop 기술 여정에 마법 같은 손길을 더하고자 합니다.

Hadoop FS Shell 을 사용하여 파일 복사하기

이 단계에서는 FS Shell 의 cp 명령을 사용하여 Hadoop 에서 파일을 복사하는 방법을 배우겠습니다.

1. 터미널에서 hadoop 사용자로 전환합니다.

   su - hadoop

2. /home/hadoop 디렉토리에 source.txt라는 테스트 파일을 생성합니다. 다음 명령을 실행합니다.

   echo "This is a test file." > /home/hadoop/source.txt

3. 이제 로컬 파일 source.txt 파일을 HDFS 의 destination.txt라는 새로운 대상 파일로 복사해 보겠습니다. 다음 명령을 사용합니다.

   hdfs dfs -copyFromLocal /home/hadoop/source.txt /destination.txt

4. 파일이 성공적으로 복사되었는지 확인합니다. /의 파일을 나열하여 확인할 수 있습니다.

   hdfs dfs -ls /

Hadoop FS Shell 을 사용한 재귀적 파일 복사

이 단계에서는 Hadoop FS Shell 명령을 사용하여 디렉토리를 재귀적으로 복사하여 파일 복사 기술을 향상시키겠습니다.

1. /에 source_dir이라는 디렉토리와 /source_dir/에 subdir라는 하위 디렉토리를 생성합니다. 다음 명령을 실행합니다.

   hdfs dfs -mkdir /source_dir
   hdfs dfs -mkdir /source_dir/subdir

2. subdir 디렉토리 안에 file1.txt라는 테스트 파일을 넣습니다. 아래 명령을 사용합니다.

   echo "Contents of file1" > /home/hadoop/file1.txt
   hdfs dfs -put /home/hadoop/file1.txt /source_dir/subdir/

3. 전체 source_dir 디렉토리를 destination_dir이라는 새로운 대상으로 재귀적으로 복사합니다. 다음 명령을 시도해 보세요.

   hdfs dfs -cp /source_dir/ /destination_dir

물론입니다! hdfs dfs -cp /source_dir /destination_dir 명령은 다음과 같은 구성 요소로 이루어져 있습니다.

1. hdfs dfs -cp: 이 부분은 파일 또는 디렉토리를 복사하는 데 사용되는 Hadoop Distributed File System (HDFS) cp 명령의 사용을 나타냅니다.
2. /source_dir/*: 이것은 소스 디렉토리의 경로를 나타냅니다. * 와일드카드는 이 디렉토리 내의 모든 파일과 하위 디렉토리에 일치합니다.
3. /destination_dir: 이것은 파일을 복사하려는 대상 디렉토리의 경로입니다.

요약하면, 이 명령은 /source_dir의 모든 파일과 하위 디렉토리를 /destination_dir로 복사하는 동시에 파일의 원래 속성을 유지합니다.

4. destination_dir 디렉토리의 내용을 나열하여 재귀적 복사를 확인합니다.

   hdfs dfs -ls -R /destination_dir

요약

이 랩에서는 hdfs dfs -copyFromLocal 및 hdfs dfs -copy 명령에 중점을 두고 Hadoop HDFS 의 마법 같은 세계를 탐구했습니다. 매력적인 시나리오를 만들고 실습을 제공함으로써 이 랩은 Hadoop 에서 파일 복사 작업에 대한 이해를 높이는 것을 목표로 했습니다. 연습이 완벽을 만든다는 것을 기억하세요. 이러한 기술을 마스터하면 Hadoop 여정에서 역량을 강화할 수 있습니다.