소개
2375 년, 은하 연방은 광대한 은하수 전역에서 상품과 자원의 운송을 용이하게 하기 위해 성간 항구 네트워크를 구축했습니다. 여러분은 안드로메다 우주 기지에 배치된 비행 항해사로서, Hadoop 생태계의 고급 데이터 처리 기능을 사용하여 은하 간 화물의 수입 및 수출을 최적화하는 임무를 맡았습니다.
여러분의 임무는 우주 기지와 은하 무역 네트워크 간의 데이터 흐름을 간소화하여, 화물 목록, 재고 기록 및 물류 정보의 효율적인 처리를 보장하는 것입니다. Hadoop 을 사용하여 데이터를 가져오고 내보내는 기술을 마스터함으로써, 여러분은 이 성간 허브의 원활한 운영에 기여하고, 상품의 원활한 교환을 가능하게 하며, 은하 전체의 경제 성장을 촉진할 것입니다.
원격 별 시스템에서 데이터 가져오기
이 단계에서는 원격 별 시스템에서 Hadoop 분산 파일 시스템 (HDFS) 으로 데이터를 가져오는 방법을 배우게 됩니다. 이 데이터는 오리온 성운에서 도착하는 화물의 화물 목록을 나타냅니다.
먼저, 터미널에서 다음 명령을 실행하여 hadoop 사용자로 로그인했는지 확인합니다.
su - hadoop
그런 다음, /home/hadoop 디렉토리로 이동하여 galactic_imports라는 새 폴더를 만듭니다.
cd /home/hadoop
mkdir galactic_imports
다음으로, hdfs 명령을 사용하여 HDFS 에 /home/hadoop/imports라는 디렉토리를 만듭니다.
hdfs dfs -mkdir -p /home/hadoop/imports
wget 명령을 사용하여 오리온 성운에서 화물 목록 파일을 다운로드합니다.
wget http://localhost:8080/orion_manifest.csv -P /home/hadoop/galactic_imports/
이 명령은 orion_manifest.csv 파일을 galactic_imports 디렉토리에 저장합니다. 실제로는 http://localhost:8080을 실제 URL, 예를 들어 https://example.com으로 바꿀 수 있습니다.
hadoop fs 명령을 사용하여 화물 목록을 HDFS 로 가져옵니다.
hadoop fs -put /home/hadoop/galactic_imports/orion_manifest.csv /home/hadoop/imports/
이 명령은 orion_manifest.csv 파일을 로컬 파일 시스템에서 HDFS 의 /home/hadoop/imports 디렉토리로 복사합니다.
은하 무역 네트워크로 데이터 내보내기
이 단계에서는 처리된 데이터를 Hadoop 에서 은하 무역 네트워크로 내보내는 방법을 배우게 됩니다. 이를 통해 모든 회원 시스템에서 화물 정보에 접근할 수 있도록 보장합니다.
먼저, HDFS 에 /home/hadoop/exports라는 새 디렉토리를 만듭니다.
hdfs dfs -mkdir /home/hadoop/exports
이제 다음 명령을 실행하여 Hive 셸을 시작합니다.
hive
orion_manifest.csv 파일을 처리하고 요약 보고서를 생성하기 위해 Hive 쿼리를 실행합니다.
CREATE TABLE orion_manifest(
item STRING,
quantity INT,
origin STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
LOAD DATA INPATH '/home/hadoop/imports/orion_manifest.csv' INTO TABLE orion_manifest;
INSERT OVERWRITE DIRECTORY '/home/hadoop/exports/orion_summary'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
SELECT origin, SUM(quantity) AS total_quantity
FROM orion_manifest
GROUP BY origin;
EXIT;
이 Hive 쿼리는 orion_manifest.csv 파일에서 테이블을 생성하고, 데이터를 처리하며, 요약 보고서를 HDFS 의 /home/hadoop/exports/orion_summary 디렉토리에 저장합니다.
HDFS 에서 로컬 파일 시스템으로 요약 보고서를 내보냅니다.
mkdir /home/hadoop/galactic_exports
hadoop fs -get /home/hadoop/exports/orion_summary/* /home/hadoop/galactic_exports/
이 명령은 /home/hadoop 디렉토리에 galactic_exports 디렉토리를 생성하고 HDFS 의 /home/hadoop/exports/orion_summary 디렉토리에서 galactic_exports 디렉토리로 파일을 복사합니다.
마지막으로, scp 명령을 사용하여 요약 보고서를 은하 무역 네트워크에 업로드합니다.
scp /home/hadoop/galactic_exports/* localhost:/home/hadoop/incoming/reports/
이 명령은 galactic_exports 디렉토리에서 localhost 서버의 /incoming/reports/ 디렉토리로 파일을 안전하게 복사하여, 요약 보고서를 은하 무역 네트워크의 모든 회원 시스템에서 사용할 수 있도록 합니다. 실제로는 localhost를 실제 서버, 예를 들어 trade.network.com으로 바꿀 수 있습니다.
요약
이 랩에서는 은하 연합 (Galactic Federation) 에서 정보 흐름을 관리하는 데 필수적인 기술인 Hadoop 생태계에서 데이터를 가져오고 내보내는 방법을 배웠습니다. 이러한 기술을 마스터함으로써, 안드로메다 우주 기지의 효율적인 운영에 기여하여 은하 전체에서 상품과 자원의 원활한 교환을 촉진했습니다.
실습을 통해 원격 별 시스템에서 HDFS 로 화물 목록을 가져오고, Hive 쿼리를 사용하여 데이터를 처리하고, 요약 보고서를 은하 무역 네트워크로 내보냈습니다. 이러한 실질적인 경험은 우주 기지를 복잡한 은하 간 상업 네트워크와 원활하게 통합하는 데 필요한 지식과 기술을 갖춘 비행 항해사로 성장하는 데 필요한 역량을 갖추게 했습니다.
전반적으로 이 랩은 기술적 숙련도를 제공했을 뿐만 아니라, 성간 물류의 경이로움에 대한 경외심과 감사를 심어주었습니다. 방대한 양의 데이터를 관리하고 처리하는 데 Hadoop 의 힘을 활용하는 능력은 의심할 여지 없이 여러분의 경력에서 새로운 차원으로 도약하게 하고, 은하 연합의 지속적인 성장과 번영에 기여할 것입니다.
