Hadoop для начинающих знакомит с хранением больших данных и пакетной обработкой на ежедневных файлах торговой компании. В настоящей среде Hadoop вы разберёте роли HDFS, MapReduce и YARN, подготовите входные данные, выполните расчёт и проверите результаты.
Курс включает 9 пошаговых работ и 3 самостоятельных задания. Работы объясняют понятия и операции, а задания объединяют изученные навыки на новых данных. Каждая работа подготавливает собственные файлы и службы.
Чему вы научитесь
После курса вы сможете:
- различать локальные файлы и HDFS и изучать конфигурацию Hadoop;
- загружать, организовывать, копировать и выгружать файлы, сохраняя исходные данные;
- проверять блоки и реплики и тестировать права файлов и каталогов;
- прослеживать пары ключ/значение через Map, Shuffle и Reduce;
- отправлять задания YARN, читать состояния и журналы, проверять результаты и повторять запуск с отдельными выходными путями;
- диагностировать отсутствующие входы, конфликты выходных путей, ошибки подключения и сбои задач.
Для кого этот курс
Для начинающих изучать большие данные и инженерию данных, которым нужна практика работы с подготовленной системой Hadoop до изучения администрирования кластеров.
Предварительные требования: Базовое использование терминала. Знание Hadoop, Java или Python не требуется.
Учебная среда: LabEx предоставляет подготовленный Linux-терминал в браузере. Среда с одним узлом обучает настоящим операциям Hadoop; развёртывание производственных кластеров не рассматривается.
Часто задаваемые вопросы
Можно ли начать без знаний больших данных и программирования?
Да, если вы умеете пользоваться терминалом на базовом уровне. Курс объясняет назначение Hadoop и взаимодействие хранения HDFS, обработки MapReduce и управления ресурсами YARN. Писать на Java или Python не потребуется.
Какое место курс занимает в учебном пути Big Data?
Начните здесь с основ хранения и пакетной обработки, затем переходите к Hive, Spark и Kafka. Самостоятельные задания идут после пошаговой практики и используют только навыки, уже представленные в этом курсе.
Нужно ли устанавливать Hadoop или арендовать кластер?
Нет. Каждая работа предоставляет подготовленную среду LabEx в браузере. Вы используете настоящие службы Hadoop на одном узле; упражнения не демонстрируют отказоустойчивость производственной системы или производительность распределённой обработки.
