Введение
В 2375 году Галактическая Федерация создала сеть межзвездных портов для облегчения транспорта товаров и ресурсов по всему огромному пространству Млечного пути. Вы - навигационный пилот, работающий на Андромедамском космопорте, и ваша задача - оптимизировать импорт и экспорт межгалактических грузов с использованием передовых возможностей обработки данных экосистемы Hadoop.
Ваша миссия - упростить поток данных между космопортом и Галактической Торговой Сетью, обеспечивая эффективную обработку накладных, инвентаризационных записей и логистической информации. Освоив искусство импорта и экспорта данных с использованием Hadoop, вы способствуете гладкой работе этого межзвездного узла, обеспечивая бесперебойный обмен товарами и способствуя экономическому росту по всему галактике.
Импорт данных из удаленной звездной системы
В этом шаге вы научитесь импортировать данные из удаленной звездной системы в Hadoop Distributed File System (HDFS). Эти данные представляют собой накладную на груз, поступающий из Орионского Небулосита.
Во - первых, убедитесь, что вы вошли под пользователем hadoop, выполнив следующую команду в терминале:
su - hadoop
Затем перейдите в директорию /home/hadoop и создайте новую папку под названием galactic_imports:
cd /home/hadoop
mkdir galactic_imports
Далее используйте команду hdfs, чтобы создать директорию в HDFS по адресу /home/hadoop/imports:
hdfs dfs -mkdir -p /home/hadoop/imports
Скачайте файл накладной на груз из Орионского Небулосита с помощью команды wget:
wget http://localhost:8080/orion_manifest.csv -P /home/hadoop/galactic_imports/
Эта команда сохранит файл orion_manifest.csv в директории galactic_imports. На практике вы можете заменить http://localhost:8080 на реальный URL, например, https://example.com.
Импортируйте накладную на груз в HDFS с помощью команды hadoop fs:
hadoop fs -put /home/hadoop/galactic_imports/orion_manifest.csv /home/hadoop/imports/
Эта команда скопирует файл orion_manifest.csv из локальной файловой системы в директорию /home/hadoop/imports в HDFS.
Экспорт данных в Галактическую Торговую Сеть
В этом шаге вы научитесь экспортировать обработанные данные из Hadoop в Галактическую Торговую Сеть, обеспечивая доступность информации о грузе для всех участников системы.
Во - первых, создайте новую директорию в HDFS по адресу /home/hadoop/exports:
hdfs dfs -mkdir /home/hadoop/exports
Теперь запустите Hive shell, выполнив следующую команду:
hive
Запустите запрос Hive для обработки файла orion_manifest.csv и генерации сводного отчета:
CREATE TABLE orion_manifest(
item STRING,
quantity INT,
origin STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
LOAD DATA INPATH '/home/hadoop/imports/orion_manifest.csv' INTO TABLE orion_manifest;
INSERT OVERWRITE DIRECTORY '/home/hadoop/exports/orion_summary'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
SELECT origin, SUM(quantity) AS total_quantity
FROM orion_manifest
GROUP BY origin;
EXIT;
Этот запрос Hive создаст таблицу из файла orion_manifest.csv, обработает данные и сохранит сводный отчет в директории /home/hadoop/exports/orion_summary в HDFS.
Экспортируйте сводный отчет из HDFS в локальную файловую систему:
mkdir /home/hadoop/galactic_exports
hadoop fs -get /home/hadoop/exports/orion_summary/* /home/hadoop/galactic_exports/
Эта команда создаст директорию galactic_exports в директории /home/hadoop и скопирует файлы из директории /home/hadoop/exports/orion_summary в HDFS в директорию galactic_exports.
Наконец, загрузите сводный отчет в Галактическую Торговую Сеть с помощью команды scp:
scp /home/hadoop/galactic_exports/* localhost:/home/hadoop/incoming/reports/
Эта команда безопасно скопирует файлы из директории galactic_exports в директорию /incoming/reports/ на сервере localhost, делая сводный отчет доступным для всех участников системы Галактической Торговой Сети. На практике вы можете заменить localhost на реальный сервер, например, trade.network.com.
Резюме
В этом практическом занятии вы узнали, как импортировать и экспортировать данные в экосистеме Hadoop, что является важкой навыком для управления потоком информации в межзвездной Галактической Федерацией. Освоив эти методы, вы способствовали эффективной работе Андромедамского космопорта, облегчая гладкий обмен товарами и ресурсами по всему галактике.
С помощью практических заданий вы импортировали накладные на груз из удаленных звездных систем в HDFS, обработали данные с использованием запросов Hive и экспортировали сводные отчеты в Галактическую Торговую Сеть. Это практическое опыты снабдило вас знаниями и навыками, необходимыми для успешной работы навыком навигационного пилота, обеспечивая бесперебойное взаимодействие космопорта с сложной сетью межгалактической торговли.
В целом, это практическое занятие не только дало технические навыки, но и внушило чувство восхищения и уважения к чудесам межзвездной логистики. Способность использовать мощь Hadoop для управления и обработки огромных объемов данных несомненно поможет вам достичь новых высот в своей карьере, способствуя дальнейшему росту и процветанию Галактической Федерации.
