Получите практическое представление об экосистеме Hadoop в 77 управляемых сценарных лабораторных работах. Коллекция идёт от повседневных операций HDFS и storage controls к MapReduce data-flow techniques, YARN resource management и большому набору задач Hive и HiveQL.
Это обширная библиотека практики, а не один линейный проект. Course manifest не требует фиксированного порядка: можно идти от основ к продвинутой работе с данными или выбирать лабораторные работы для нужных навыков.
Чему вы научитесь
После завершения курса вы сможете:
- Настраивать и исследовать предоставленные HDFS, YARN и Hive environments для практики.
- Читать, искать, передавать, удалять, проверять и назначать permissions данным HDFS через filesystem shell.
- Управлять replication, blocks, DataNodes, snapshots, storage policies, quotas и cleanup в HDFS.
- Применять MapReduce shuffle techniques с partitioners, sorting, combiners, joins и distributed cache.
- Исследовать YARN applications, containers, logs, JAR execution, nodes, scheduling, ResourceManager и NodeManager.
- Создавать и изменять Hive databases и tables и выполнять load, insert, update, delete, import и export данных.
- Писать HiveQL filters, grouping и aggregation, joins и unions, sorting и distribution, functions и window queries.
- Изучать Hive query plans, storage formats, partitions, buckets, schemas, I/O, compression, serialization, integration и security.
Для кого этот курс
Курс предназначен для изучающих Hadoop, которым нужен большой набор управляемых упражнений по хранению, обработке, ресурсам и SQL-подобной аналитике. Он помогает новичкам расширить знания и позволяет знакомым с концепциями точечно практиковать HDFS, MapReduce, YARN или Hive.
Предварительные требования: Нужно уверенно пользоваться Linux-терминалом, файлами и permissions и понимать основы data processing. Перед MapReduce, YARN и продвинутым Hive настоятельно рекомендуются основы Hadoop и SQL, хотя весь курс отмечен Beginner.
Учебная среда: 77 работ выполняются в предоставленных Hadoop-средах и содержат подробные инструкции и решения. Основная работа основана на commands и queries; внешний cloud cluster или личный service account не указаны как требования.
Часто задаваемые вопросы
Нужно ли проходить все 77 работ по порядку?
Нет. Курс настроен как неупорядоченная коллекция практики, а не обязательная последовательность. Новичкам полезно начать с HDFS setup и файловых операций, затем перейти к MapReduce, YARN и продвинутому Hive.
Чем курс отличается от задач по практике Hadoop?
Hadoop Practice Labs содержит 77 управляемых занятий в четырёх широких областях. Hadoop Practice Challenges — гораздо меньшая коллекция из 12 задач по HDFS filesystem commands.
Включены ли Spark или Pig?
Нет. Программа охватывает HDFS, отдельные MapReduce patterns, YARN и Hive/HiveQL. Spark и Pig отсутствуют среди 77 тем.
Буду ли я развёртывать и эксплуатировать production Hadoop cluster?
Нет. Настройка и операции с компонентами выполняются в учебных средах. Production infrastructure design, multi-node deployment, capacity planning, monitoring и service operations не являются подтверждёнными результатами курса.
