Практикуйте основные файловые операции HDFS в 12 целевых Hadoop-челленджах. Каждое задание предлагает небольшую задачу, подробные инструкции и решение, помогая переводить желаемый результат в подходящую команду файловой системы Hadoop и путь.
Курс намеренно сосредоточен на повседневной работе с данными HDFS: просмотре и создании каталогов, чтении и передаче файлов, проверке путей и изменении метаданных доступа. Это компактный тренажёр, а не обзор всей экосистемы Hadoop.
Чему вы научитесь
После завершения курса вы сможете:
- Перечислять пути HDFS и создавать каталоги для упорядоченного хранения данных.
- Читать содержимое файлов прямо из HDFS и проверять путь на соответствие условию.
- Копировать и перемещать файлы или каталоги между местами внутри HDFS.
- Загружать локальные файлы в HDFS и скачивать данные HDFS в локальную файловую систему.
- Добавлять новые локальные данные в конец существующего файла HDFS.
- Изменять group ownership и file ownership HDFS подходящими командами.
- Применять permission modes к путям HDFS и отличать изменение прав от смены владельца.
- Выбирать подходящие операции
hadoop fsи проверять итоговое состояние.
Для кого этот курс
Курс предназначен для понимающих назначение HDFS и желающих практиковать его filesystem shell в коротких сценариях. Он полезен начинающим в Hadoop, которые уже видели команды и хотят закрепить их до более крупных процессов обработки данных.
Предварительные требования: Нужно уверенно пользоваться Linux-терминалом, файлами и каталогами и знать базовые concepts ownership и permissions Unix. Рекомендуется знакомство с HDFS paths и hadoop fs, поскольку это челленджи, а не полное концептуальное введение.
Учебная среда: Курс включает 12 command-line челленджей в предоставленных Hadoop-средах. Задания используют только filesystem operations и не требуют внешнего cloud cluster или личного service account.
Часто задаваемые вопросы
Курс охватывает всю экосистему Hadoop?
Нет. Он сосредоточен на HDFS filesystem commands. Cluster installation, MapReduce, YARN, Hive, Pig, Spark, performance tuning и fault-tolerant pipelines не входят в 12 челленджей.
Чем он отличается от практических лабораторных работ Hadoop?
Это небольшая challenge-only коллекция по 12 операциям HDFS shell. Hadoop Practice Labs гораздо шире и включает управляемую практику HDFS administration, MapReduce, YARN, Hive и других тем.
Челленджи полностью без подсказок?
Нет. Каждый описан как небольшая задача с подробными инструкциями и решением. Вы выполняете операцию сами, но при необходимости можете использовать поддержку.
Нужен ли собственный Hadoop cluster или cloud account?
Внешний cluster или cloud account для этих работ не указан. Челленджи выполняются в предоставленных средах, позволяя сосредоточиться на HDFS-командах.
