Apache Spark для начинающих обучает пакетной обработке с PySpark. На небольших торговых данных вы преобразуете CSV и JSON в типизированные DataFrame, очистите записи, рассчитаете отчёты и сохраните результаты для чтения при следующем запуске.
Курс содержит 11 пошаговых работ и 2 задания. Полные примеры сменяются небольшими изменениями и самостоятельной работой с новыми входами. Вы изучите реальные свидетельства выполнения и отправите повторно используемое приложение без зависимости от интерактивного сеанса.
Чему вы научитесь
После курса вы сможете:
- создавать DataFrame с явными схемами и читать CSV и вложенный JSON;
- фильтровать и преобразовывать столбцы, безопасно разбирать значения и удалять одинаковые строки;
- агрегировать десятичные суммы продаж и соединять справочники клиентов и товаров;
- выражать знакомые операции через Spark SQL и представления внутри сеанса;
- записывать Parquet с разделами и проверять логические записи;
- изучать планы и ошибки, отправлять и повторно запускать параметризованное пакетное приложение.
Для кого этот курс
Для изучающих Python, которые начинают заниматься инженерией данных или готовят свой первый пакетный процесс Spark.
Предварительные требования: Переменные, коллекции, вызовы функций и запуск скриптов Python, а также основы терминала. Spark, pandas, Hadoop, Hive и Java не требуются.
Учебная среда: LabEx предоставляет подготовленный Linux-терминал в браузере. Настоящий PySpark работает в local[2], с двумя потоками на одной машине; развёртывание распределённых кластеров не рассматривается.
Часто задаваемые вопросы
Какой уровень Python нужен и обязательно ли сначала пройти Hadoop или Hive?
Нужно понимать переменные, коллекции, вызовы функций и запуск скриптов Python. Hadoop и Hive дают полезный контекст, но не являются обязательными. Курс вводит DataFrame и необходимый Spark SQL.
Будет ли потоковая обработка помимо пакетной?
Курс посвящён пакетной обработке файлов CSV и JSON и завершается созданием повторно используемого конвейера продаж. Spark Streaming и программирование RDD не рассматриваются.
Нужно ли устанавливать Spark или арендовать несколько машин?
Нет. LabEx предоставляет PySpark и данные в подготовленной браузерной среде. Вы используете два потока выполнения на одной машине, изучая настоящие API и поведение при выполнении без развёртывания распределённого кластера.
