Hadoop FS Shell copyFromLocal/get

HadoopBeginner
지금 연습하기

소개

머나먼 은하계에서, 여러 세력 간의 끊임없는 우주 전쟁이 벌어지고 있습니다. 또한, 혼란 속에서 이윤을 창출하려는 우주 상인들로 은하계는 북적거립니다. 우리의 이야기는 Hadoop 의 HDFS 파일 시스템을 사용하여 귀중한 데이터 파일을 전송해야 하는 한 우주 상인에게 초점을 맞춥니다. 상인의 목표는 copyFromLocal 명령을 사용하여 로컬 시스템에서 Hadoop 으로 파일을 성공적으로 복사하고, get 명령을 사용하여 Hadoop 에서 로컬 시스템으로 파일을 검색하는 것입니다.

Hadoop 에 파일 복사

이 단계에서 우주 상인은 data.txt라는 파일을 로컬 시스템에서 Hadoop HDFS 로 복사해야 합니다.

터미널을 열고 다음 단계를 따라 시작하십시오.

  1. 적절한 권한을 위해 hadoop 사용자로 전환합니다.

    su - hadoop
  2. Hadoop 에 space_data라는 디렉토리를 생성합니다.

    hdfs dfs -mkdir /space_data
  3. 로컬 파일 data.txt를 Hadoop 으로 복사합니다.

    hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
  4. 파일이 성공적으로 복사되었는지 확인합니다.

    hdfs dfs -ls /space_data

Hadoop 에서 파일 가져오기

이제 우주 상인은 Hadoop 에서 data.txt 파일을 검색하여 로컬 시스템에 저장해야 합니다.

  1. 검색된 파일을 저장하려는 디렉토리로 변경합니다.

    mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
  2. Hadoop 에서 로컬 시스템으로 data.txt 파일을 검색합니다.

    hdfs dfs -get /space_data/data.txt
  3. 파일이 성공적으로 검색되었는지 확인합니다.

    ls -l data.txt

요약

이 랩에서는 상인이 로컬 시스템과 Hadoop HDFS 간에 데이터 파일을 전송해야 하는 우주 거래 시나리오를 시뮬레이션했습니다. Hadoop FS Shell 에서 copyFromLocalget 명령을 실습함으로써 사용자는 파일을 Hadoop 의 분산 파일 시스템으로 효율적으로 이동하는 방법을 배울 수 있습니다. 이러한 실습 경험은 Hadoop 의 기본 파일 관리 작업을 이해하는 데 도움이 되며 빅 데이터 생태계 작업에 대한 기술을 향상시킵니다.