Apache Spark pour les débutants enseigne le traitement par lots avec PySpark. Sur de petits jeux de données de vente, vous transformerez CSV et JSON en DataFrames typés, nettoierez les enregistrements, calculerez des rapports et enregistrerez des résultats relisibles lors d'une autre exécution.
Le cours comprend 11 labs guidés et 2 défis. Les exemples complets mènent à de petits changements, puis à des tâches autonomes sur de nouvelles entrées. Vous examinerez de véritables preuves d'exécution et soumettrez une application réutilisable sans dépendre d'une session interactive.
Ce que vous apprendrez
Après ce cours, vous pourrez :
- créer des DataFrames à schéma explicite et lire CSV et JSON imbriqué ;
- filtrer et transformer les colonnes, convertir sans risque et retirer les lignes identiques ;
- agréger des montants décimaux et joindre les références clients et produits ;
- exprimer les opérations connues avec Spark SQL et des vues locales à la session ;
- écrire du Parquet partitionné et vérifier les enregistrements logiques ;
- examiner plans et erreurs, puis soumettre et relancer une application par lots paramétrée.
À qui s’adresse ce cours
Aux apprenants Python débutant en ingénierie des données ou préparant leur premier traitement Spark par lots.
Prérequis : Variables, collections, appels de fonctions et exécution de scripts Python, ainsi que les bases du terminal. Spark, pandas, Hadoop, Hive et Java ne sont pas requis.
Environnement d’apprentissage : LabEx fournit un terminal Linux préparé sur navigateur. PySpark fonctionne réellement en local[2], avec deux fils sur une machine ; le déploiement distribué est hors programme.
Questions fréquentes
Quel niveau de Python faut-il, et dois-je terminer Hadoop ou Hive avant ?
Vous devez comprendre les variables, collections, appels de fonctions et l'exécution de scripts Python. Hadoop et Hive apportent un contexte utile, mais ne sont pas des prérequis. Le cours présente les DataFrames et le Spark SQL nécessaire.
Apprendrai-je le traitement en flux en plus du traitement par lots ?
Ce cours traite des fichiers CSV et JSON par lots et se termine par un pipeline de ventes réutilisable. Spark Streaming et la programmation RDD sont hors programme.
Dois-je installer Spark ou louer plusieurs machines ?
Non. LabEx fournit PySpark et les données dans un environnement préparé sur navigateur. Vous utilisez deux fils d'exécution sur une machine pour apprendre les véritables API et leur comportement, sans déployer de cluster distribué.
